[論文レビュー] Compositional Few-Shot Recognition with Primitive Discovery and Enhancing

Yixiong Zou, Shanghang Zhang+4 more|arXiv (Cornell University)|May 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 5

ひとこと要約

本稿では、自己教師ありオブジェクト分割順序予測を通じて既知のクラスから視覚的プリミティブを発見し、ソフトコンポジション機構により重要なプリミティブを強化する、構成的 few-shot 学習フレームワークを提案する。プリミティブ発見と強化を統合的に訓練することで、スパarsityと特徴可視化による解釈可能性を向上させつつ、few-shot 画像および動画認識ベンチマークで最先端の性能を達成する。

ABSTRACT

Few-shot learning (FSL) aims at recognizing novel classes given only few training samples, which still remains a great challenge for deep learning. However, humans can easily recognize novel classes with only few samples. A key component of such ability is the compositional recognition that human can perform, which has been well studied in cognitive science but is not well explored in FSL. Inspired by such capability of humans, to imitate humans' ability of learning visual primitives and composing primitives to recognize novel classes, we propose an approach to FSL to learn a feature representation composed of important primitives, which is jointly trained with two parts, i.e. primitive discovery and primitive enhancing. In primitive discovery, we focus on learning primitives related to object parts by self-supervision from the order of image splits, avoiding extra laborious annotations and alleviating the effect of semantic gaps. In primitive enhancing, inspired by current studies on the interpretability of deep networks, we provide our composition view for the FSL baseline model. To modify this model for effective composition, inspired by both mathematical deduction and biological studies (the Hebbian Learning rule and the Winner-Take-All mechanism), we propose a soft composition mechanism by enlarging the activation of important primitives while reducing that of others, so as to enhance the influence of important primitives and better utilize these primitives to compose novel classes. Extensive experiments on public benchmarks are conducted on both the few-shot image classification and video recognition tasks. Our method achieves the state-of-the-art performance on all these datasets and shows better interpretability.

研究の動機と目的

• 少数のサンプルでのみ新しいクラスに一般化できる少数学習視覚認識の課題に対処すること。
• 既知のクラスから再利用可能な視覚的プリミティブを学習することで、人間の構成的認識に類似した認識を実現すること。
• 高コストなアノテーションへの依存を低減し、既知クラスと新規クラスの間の意味的ギャップを軽減すること。
• 特徴表現における最も影響力のあるプリミティブを特定・強化することで、モデルの解釈可能性を向上させること。
• プリミティブ発見と強化の共同最適化により、優れた少数学習認識性能を達成すること。

提案手法

• 画像の分割順序予測からの自己教師ありによりプリミティブ発見を実現：画像が水平および垂直に分割され、モデルは分割順序の順列を予測する。これにより、オブジェクト部品がプリミティブとして認識されるよう促進される。
• 分割順序からの構造的自己教師ありを活用することで、明示的なアノテーションなしに部品関連プリミティブを学習し、意味的ギャップの影響を低減する。
• ヘブシアン学習およびウィナーテイクアールダイナミクスにインspiredされたソフトコンポジション機構を導入し、重要なプリミティブの活性化を増加させ、関連性の低いものを抑制する。
• プリミティブの重要度を測定するための学習可能な重み行列 W を使用し、スパarsity損失を適用して重要なプリミティブの選択的活性化を促進する。
• エントロピー正則化（ER）損失を適用し、高活性化プリミティブの影響を拡大することで、分類への寄与を向上させる。
• コサイン分類器とエンドツーエンド最適化を用いてフレームワークを統合的に訓練し、学習済みプリミティブから新規クラスを効果的にコンポジション可能にする。

実験結果

リサーチクエスチョン

• RQ1 画像の分割順序からの自己教師あり学習が、人為的アノテーションなしに部品関連視覚的プリミティブを効果的に発見できるか。
• RQ2 特徴コンポジション中に重要な視覚的プリミティブを動的に強化することで、少数学習認識性能を向上させられるか。
• RQ3 標準的な FSL ベンチマークと比較して、提案されたソフトコンポジション機構が新規クラスへの一般化をどの程度向上させるか。
• RQ4 学習済みプリミティブは、既知クラスと新規クラスの両方で意味的に解釈可能に共有可能か。
• RQ5 プリミティブ発見と強化の共同訓練が、少数学習画像および動画認識における性能と解釈可能性を向上させるか。

主な発見

• 提案手法は、評価されたすべての少数学習画像および動画認識ベンチマークで最先端の性能を達成し、既存の FSL 手法を上回る。
• アブレーションスタディにより、各構成要素—プリミティブ発見、スパarsity損失、ER損失—がモデル性能向上に肯定的寄与することが確認された。
• わずか15の特徴チャネルで新規クラス分類精度の95％を回復可能であり、学習済みプリミティブのスパarsityと効率性を示している。
• 重み行列 W の上位5つのチャネルが、既知クラス分類性能の大部分を占めており、W がプリミティブ重要度の信頼できる指標であることを検証した。
• 可視化により、既知クラスと新規クラスの両方で共有されるプリミティブが、解釈可能なオブジェクト部品（例：脚、首、胴体）に対応しており、構成的一般化を確認した。
• 顕著なプリミティブが人間が理解可能なオブジェクト部品（例：犬のような胴体、釣竿のような首）と一致することから、本手法は解釈性が向上している。