[論文レビュー] Learning Less-Overlapping Representations

Pengtao Xie, Hongbao Zhang+1 more|arXiv (Cornell University)|Nov 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 3

ひとこと要約

本稿では、重みベクトルのサポートの重複を減らすことで表現学習における解釈可能性と一般化性能を向上させる、新たな正則化手法 LDD-L1 を提案する。この手法は、重みベクトルのスパarsityとほぼ直交性を同時に促進することで、重なりを抑える。ニューラルネットワークおよびスパースコーディングに適用した結果、L1 や直交性のみを促進する正則化手法と比較して、より低い perplexity と誤差率を達成し、PTB 語彙モデルと CIFAR-10 画像分類タスクで最先端の性能を発揮した。

ABSTRACT

In representation learning (RL), how to make the learned representations easy to interpret and less overfitted to training data are two important but challenging issues. To address these problems, we study a new type of regulariza- tion approach that encourages the supports of weight vectors in RL models to have small overlap, by simultaneously promoting near-orthogonality among vectors and sparsity of each vector. We apply the proposed regularizer to two models: neural networks (NNs) and sparse coding (SC), and develop an efficient ADMM-based algorithm for regu- larized SC. Experiments on various datasets demonstrate that weight vectors learned under our regularizer are more interpretable and have better generalization performance.

研究の動機と目的

• 学習された重みベクトル間の冗長性を低減することで、表現学習モデルの解釈可能性を向上させること。
• 学習された表現の構造的複雑さを制約することで、過学習を低減し、未知データに対する一般化性能を向上させること。
• スパarsity と重みベクトルのほぼ直交性を同時に促進する統一的な正則化アプローチを構築すること。
• 提案された正則化手法が、自然言語処理や画像分類タスクを含む多様なモデルとデータセットにおいて有効であることを示すこと。

提案手法

• 重みベクトルがスパースかつほぼ直交的になるよう促進することで、そのサポートの重なりを最小化する滑らかでない正則化項 LDD-L1 を提案する。
• ベクトルのサポートの Jaccard 係数に基づく「非重複度スコア」を定義し、ベクトル間の重なりを測定する。
• 個々の重みベクトルにおけるスパarsity を促進する L1 正則化と、サポートの重なりを低減する直交化制約を組み合わせる。
• 正則化スパースコーディング問題を効率的に解くための ADMM に基づく最適化アルゴリズムを開発する。
• LDD-L1 正則化を深層ニューラルネットワークおよびスパースコーディングモデルに適用し、より良い一般化性能を実現するエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習された重みベクトルのサポートの重なりを減らすことで、表現学習におけるモデルの解釈可能性が向上するか？
• RQ2 重みベクトルにスパarsity とほぼ直交性を強制することで、未知データに対する一般化性能が向上するか？
• RQ3 L1 や直交性促進手法と比較して、提案された LDD-L1 正則化手法の性能はどのように異なるか？
• RQ4 LDD-L1 正則化手法は、ニューラルネットワークおよびスパースコーディングモデルの両方に対して効果的に適用可能か？

主な発見

• PTB 語彙モデルデータセットにおいて、LDD-L1 正則化手法はテスト perplexity を 71.1 まで低下させ、正則化なしのベースライン（72.3）および他の正則化手法を上回った。
• CIFAR-10 において、LDD-L1 正則化手法はテスト誤差率 3.60% を達成し、正則化なしの WideResNet（3.89%）および L1（3.81%）や直交性のみを促進する手法（例：AC-WideResNet 3.63%）を上回った。
• LDD-L1 正則化手法は、スパarsity のみ（L1）または直交性 のみを促進する手法よりも低い誤差率を達成しており、スパarsity と直交性の併用が優れていることを示した。
• 正則化スパースコーディング問題に対する提案された ADMM に基づくアルゴリズムは、効率的に収束し、重なりの少ない表現の有効な学習を可能にした。