[論文レビュー] Label Embedding Network: Learning Label Representation for Soft Training of Deep Networks

Xu Sun, Bingzhen Wei+2 more|arXiv (Cornell University)|Oct 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 31

ひとこと要約

この論文では、バックプロパゲーションを介して深層ネットワーク学習中に連続的で解釈可能なラベル表現を学習する、ラベル埋め込みネットワークという手法を提案する。1ホットラベルの代わりにソフトで分散型の表現を用いることで、モデルの精度、収束速度、耐障害性が向上する。本手法は、類似ラベル間の意味的相互作用を可能にすることで、画像およびテキストタスクにおいて最先端または競争力のある結果を達成している。

ABSTRACT

We propose a method, called Label Embedding Network, which can learn label representation (label embedding) during the training process of deep networks. With the proposed method, the label embedding is adaptively and automatically learned through back propagation. The original one-hot represented loss function is converted into a new loss function with soft distributions, such that the originally unrelated labels have continuous interactions with each other during the training process. As a result, the trained model can achieve substantially higher accuracy and with faster convergence speed. Experimental results based on competitive tasks demonstrate the effectiveness of the proposed method, and the learned label embedding is reasonable and interpretable. The proposed method achieves comparable or even better results than the state-of-the-art systems. The source code is available at \url{https://github.com/lancopku/LabelEmb}.

研究の動機と目的

• 1ホットラベル符号化の限界、たとえばラベル相関をモデル化できないことや過学習に脆弱であることへの対処。
• バックプロパゲーションを介した学習中にラベル埋め込みを自動的かつエンドツーエンドで学習可能にする。
• 大規模分類タスクにおけるメモリコストを削減するため、圧縮されたラベル埋め込みを学習する。
• モデルの汎化性能を向上させるために、解釈可能で意味的に意味のあるラベル表現を生成する。
• CNN、ResNet、Seq-to-Seqモデルなど、多様なアーキテクチャに適用可能な汎用的手法を提供する。

提案手法

• 訓練中に各クラスラベルの密な連続的表現を学習するラベル埋め込みネットワークを導入する。
• 標準の1ホット交差エントロピー損失の代わりに、学習済みラベル埋め込みに基づくソフト損失関数を採用し、ラベル間の連続的相互作用を可能にする。
• 再パrameterization技術を用いて圧縮されたラベル埋め込みを学習し、大規模タスクにおけるメモリコストを顕著に削減する。
• バックプロパゲーションを介してラベル埋め込みとネットワーク重みを同時に最適化し、エンドツーエンド学習を可能にする。
• 画像分類（CIFAR、MNIST）およびシーケンス・ツー・シーケンスタスク（LCSTS、IWSLT2015）の両方に対してソフトラベル損失を適用する。
• 最終的なログティを学習済みラベル埋め込み上の確率分布として解釈できるように、ソフトマックス正規化出力層を採用する。

実験結果

リサーチクエスチョン

• RQ1 訓練中に連続的ラベル表現を学習することで、1ホット符号化を上回る深層ネットワークの性能向上が達成可能か？
• RQ2 学習済みラベル埋め込みは、画像およびテキストタスクにおけるモデルの収束速度と汎化性能にどのように影響するか？
• RQ3 圧縮されたラベル埋め込みは、大ボリュームの語彙タスクにおいて性能を維持しながらメモリコストを削減できるか？
• RQ4 学習済みラベル埋め込みは、異なるドメインにおいて意味的に意味的で解釈可能か？
• RQ5 ベンチマークタスクにおいて、最先端のモデルを上回るか同等の性能を発揮するか？

主な発見

• LCSTSテキスト要約タスクにおいて、本手法はROUGE-1、ROUGE-2、ROUGE-Lスコアをそれぞれ31.7、19.1、29.1を達成し、ベースライン結果を1.6、1.2、1.9ポイント改善した。
• IWSLT2015機械翻訳タスクにおいて、本手法はBLEUスコア26.8を達成し、前回の最高結果26.1を上回り、新たな最先端を樹立した。
• 学習済みラベル埋め込みは意味的な類似性を捉えており、たとえば「đỏ」（赤）が「xanh」（青）や「đen」（黒）といった他の色と最も類似していることが明らかになった。
• 標準のCNN、ResNet、Seq-to-Seqベースラインと比較して、画像（CIFAR-100、CIFAR-10、MNIST）およびNLPタスク（LCSTS、IWSLT2015）の両方で本手法は優れた性能を示した。
• 圧縮ラベル埋め込みバージョンは、顕著にメモリコストを削減しながらも高い性能を維持しており、大規模分類タスクにおいて有効であることが証明された。
• ラベル埋め込みは解釈可能で再利用可能であり、より速い収束と高い精度を実現する新しいモデルの訓練を改善した。