[論文レビュー] Continual Local Replacement for Few-shot Learning

Canyu Le, Zhonggui Chen+3 more|arXiv (Cornell University)|Jan 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 4

ひとこと要約

本稿では、少数ショット学習におけるデータ不足問題に取り組むために、トレーニング中にラベル付きサポート画像の一部を意味的に類似した未ラベル付き画像に動的に置き換える継続的ローカル置換（CLR）戦略を提案する。リアルタイムで情報量の多い未ラベル付き領域を特定するための疑似ラベル付けを用いることで、CLRは特徴表現と意思決定境界の学習を向上させ、標準ベンチマーク上でのベースライン比で8%〜15%の絶対的精度向上を達成し、最先端の性能を実現した。

ABSTRACT

The goal of few-shot learning is to learn a model that can recognize novel classes based on one or few training data. It is challenging mainly due to two aspects: (1) it lacks good feature representation of novel classes; (2) a few of labeled data could not accurately represent the true data distribution and thus it's hard to learn a good decision function for classification. In this work, we use a sophisticated network architecture to learn better feature representation and focus on the second issue. A novel continual local replacement strategy is proposed to address the data deficiency problem. It takes advantage of the content in unlabeled images to continually enhance labeled ones. Specifically, a pseudo labeling method is adopted to constantly select semantically similar images on the fly. Original labeled images will be locally replaced by the selected images for the next epoch training. In this way, the model can directly learn new semantic information from unlabeled images and the capacity of supervised signals in the embedding space can be significantly enlarged. This allows the model to improve generalization and learn a better decision boundary for classification. Our method is conceptually simple and easy to implement. Extensive experiments demonstrate that it can achieve state-of-the-art results on various few-shot image recognition benchmarks.

研究の動機と目的

• 限られたラベル付き例が真のデータ分布を十分に表現できない、少数ショット学習におけるデータ不足問題に対処すること。
• 埋め込み空間における教師あり信号の多様性と代表性を高めることで、分類器の意思決定境界の学習を改善すること。
• 明示的なデータ生成や再トレーニングを必要とせずに、未ラベル付きデータから新しい意味的情報を学習できるようにすること。
• 標準的な転移学習ベースラインを強化できる、シンプルでスケーラブルかつ解釈可能な手法を開発すること。
• モデルアーキテクチャが固定であっても、代表的な訓練データが少数ショット性能に顕著な影響を与えることを示すこと。

提案手法

• 各トレーニングエポックにおいて、現在のサポートセットと意味的に類似した未ラベル付き画像を特定するための疑似ラベル付け戦略を用いる。
• ラベル付き画像を、選択された未ラベル付き画像のコンテンツに局所的に置換することで、意味的整合性を保ちつつ新しい視覚的パターンを導入する。
• 置換はブロック単位で実行され、1枚の画像あたり最大6つのブロックが置換され、トレーニングエポックにわたり繰り返し適用される。
• モデルは更新されたサポートセットで微調整され、強化された教師あり信号を通じて、改善された意思決定境界を学習できるようになる。
• この手法は微調整段階で動作し、バックボーン特徴抽出器は固定されたまま、拡張されたサポートセットを用いて分類器を更新する。
• このアプローチは標準的な転移学習と互換性があり、既存の少数ショット学習フレームワークへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似した未ラベル付き画像に、ラベル付きサポート画像の一部を動的に置き換えることで、少数ショット一般化性能が向上するか？
• RQ2 静的サポートセットと比較して、継続的にサポートセット画像を置換することで、意思決定境界の学習がより良くなるか？
• RQ3 1枚あたりの置換ブロック数が、さまざまな少数ショット設定におけるモデル性能に与える影響は何か？
• RQ4 複雑なメタラーニングや増強ベースのアプローチと比較して、シンプルで解釈可能な手法が少数ショット認識で優れた性能を発揮できるか？
• RQ5 サポートセットの品質が、少数ショット分類精度にどの程度影響を与えるか？

主な発見

• CLRは20クラス1ショットのMiniImageNetで34.94%のトップ1精度を達成し、前回の最先端手法を8%以上上回った。
• 20クラス5ショットのMiniImageNetでは55.20%の精度に達し、ベースライン手法と比較して15.2%の絶対的向上を示した。
• 100回のランダムエピソードにわたり、標準偏差が低く安定した収束を示しており、性能の安定性が確認された。
• 1枚あたり6ブロックまでの置換が最良のトレードオフをもたらす。9ブロック以上の置換では性能が劣化した。
• T-SNE可視化により、置換画像の特徴が動的に意味的クラスタ内にシフトしていることが確認され、効果的な意味的強化が行われていることが示された。
• サリエンシーマップでは、置換された領域が新たな意味的コンテンツまたは部分的遮蔽として解釈されており、モデルが多様な視覚的パターンから学習できていることが裏付けられた。