[論文レビュー] Improving One-Shot Learning through Fusing Side Information

Yao-Hung Hubert Tsai, Ruslan Salakhutdinov|arXiv (Cornell University)|Oct 23, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 43

ひとこと要約

本稿では、属性、単語埋め込み、階層的関係といった複数のタイプの補助情報——を構造的カーネル学習フレームワークを通じて統合することで、少数ショット画像分類を向上させる新規手法を提案する。データとラベル埋め込みの間の依存関係を符号化するヒルバート＝シュミット独立性基準（HSIC）を用いたラベル類似度のモデリングにより、CUBおよびAwAデータセットで最先端の性能を達成しており、特にすべての補助情報タイプを組み合わせた場合に顕著である。

ABSTRACT

Deep Neural Networks (DNNs) often struggle with one-shot learning where we have only one or a few labeled training examples per category. In this paper, we argue that by using side information, we may compensate the missing information across classes. We introduce two statistical approaches for fusing side information into data representation learning to improve one-shot learning. First, we propose to enforce the statistical dependency between data representations and multiple types of side information. Second, we introduce an attention mechanism to efficiently treat examples belonging to the 'lots-of-examples' classes as quasi-samples (additional training samples) for 'one-example' classes. We empirically show that our learning architecture improves over traditional softmax regression networks as well as state-of-the-art attentional regression networks on one-shot recognition tasks.

研究の動機と目的

• ワンショット学習における限られたラベル付き例の課題に対処するため、属性、単語埋め込み、階層的関係といった多様な補助情報ソースを活用すること。
• 構造的カーネルを用いてデータとラベル表現の間の依存関係をモデリングすることで、少数ショット分類における一般化性能とロバスト性を向上させること。
• 画像特徴に直接連結するのではなく、共同埋め込み学習による間接的統合を通じて補助情報の有効性を検証すること。
• 異なる補助情報タイプの組み合わせがモデル性能に与える影響を評価し、最適な統合戦略を同定すること。
• すべての訓練およびテストクラスを含むラベル探索空間への拡張の実用性を検討し、実世界の展開シナリオを模擬すること。

提案手法

• 本手法は二段階フレームワークを採用する：まず、事前学習済みのGoogLeNetを用いて画像特徴を抽出し、その後、学習可能な非線形変換により低次元空間にマッピングする。
• ラベル予測にはパラメトリックなソフトマックス回帰または非パラメトリックなアテンション回帰を用い、後者は学習可能なアテンションカーネルによりサポートセットのサンプルに重みを付ける。
• 補助情報は、データとラベル表現の間の依存関係をHSIC（ヒルバート＝シュミット独立性基準）によって強制することで、間接的に統合する。
• HSICに基づく損失関数は、属性（att）、word2vec（w2v）、GloVe（glo）、階層的構造（hie）といった複数の補助情報タイプを用いて、クラス間の関係を捉えるラベル類似度カーネルの学習を促進する。
• Adam最適化を用いてエンドツーエンドで学習し、調整ハイパーパrameter α = 0.1 を使用。ソフトマックス回帰では500イテレーション、アテンション回帰では100イテレーションで収束する。
• 推論時にラベル空間をすべてのクラスに拡張することで、標準的および一般化ワンショット学習の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 属性、単語埋め込み、階層的関係といった複数の補助情報タイプの統合が、少数ショット分類性能に与える影響は何か？
• RQ2 画像特徴に直接連結するのではなく、カーネル学習による間接的統合が、画像特徴への直接連結を上回る性能を発揮できるか？
• RQ3 各補助情報タイプがモデル精度に与える相対的寄与度は何か？また、最適な組み合わせは存在するか？
• RQ4 すべての訓練およびテストクラスを含むラベル探索空間への拡張が、ワンショット学習における性能に与える影響は何か？
• RQ5 提案手法のHSICベースのアプローチは、ReViSE や標準的なアテンションネットワークといった既存手法と比較して、どのように差をつけるか？

主な発見

• すべての補助情報（att, w2v, glo, hie）を組み合わせたHSICベースの手法は、AwAで76.98%、CUBで33.75%の精度を達成し、補助情報を一切使わないベースラインを顕著に上回った。
• HSIC統合を用いたアテンション回帰では、AwAで76.98%、CUBで33.75%の精度を達成し、最良のベースライン（補助情報を含まないソフトマックス）をそれぞれ10.59%、7.82%上回った。
• 画像特徴に属性を直接連結する直接統合では、AwAで63.15%の精度にとどまるが、提案手法の間接統合では70.08%に達し、構造的埋め込み学習の優位性を示した。
• すべての補助情報タイプが利用可能であっても、特定のタイプが一貫して優位に寄与するわけではない。性能は組み合わせに依存しており、情報源間の非線形的相互作用が存在することが示唆された。
• すべてのクラスを含むラベル探索空間への拡張は、顕著な性能低下を引き起こした——例として、AwAでは76.98%から28.89%に低下——これは、大きな空間内での訓練クラスとテストクラスの混同が原因であった。
• ReViSEのCUBベンチマークでは85.2%の精度を達成し、ReViSEの86.2%に非常に近い結果を示し、最先端手法と同等の競争力を持つことが示された。