[論文レビュー] LaSO: Label-Set Operations networks for multi-label few-shot learning

Amit Alfassy, Leonid Karlinsky+6 more|arXiv (Cornell University)|Feb 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 7

ひとこと要約

LaSOは、入力画像特徴から特徴ベクトルを合成することで、ラベル集合演算（例：積集合、和集合、差集合）を学習する、マルチラベル少数ショット学習のための新規ニューラルネットワークアーキテクチャを導入する。この手法は、微分可能演算を用いて特徴を効果的に統合することで、MS-COCOで最先端の性能を達成し、リtrievalベースラインを上回り、複雑なラベル組み合わせの正確なゼロショット予測を可能にする。

ABSTRACT

Example synthesis is one of the leading methods to tackle the problem of few-shot learning, where only a small number of samples per class are available. However, current synthesis approaches only address the scenario of a single category label per image. In this work, we propose a novel technique for synthesizing samples with multiple labels for the (yet unhandled) multi-label few-shot classification scenario. We propose to combine pairs of given examples in feature space, so that the resulting synthesized feature vectors will correspond to examples whose label sets are obtained through certain set operations on the label sets of the corresponding input pairs. Thus, our method is capable of producing a sample containing the intersection, union or set-difference of labels present in two input samples. As we show, these set operations generalize to labels unseen during training. This enables performing augmentation on examples of novel categories, thus, facilitating multi-label few-shot classifier learning. We conduct numerous experiments showing promising results for the label-set manipulation capabilities of the proposed approach, both directly (using the classification and retrieval metrics), and in the context of performing data augmentation for multi-label few-shot learning. We propose a benchmark for this new and challenging task and show that our method compares favorably to all the common baselines.

研究の動機と目的

• 1つのクラスあたり少数のラベル付き例しか利用できないマルチラベル少数ショット学習の課題に対処すること。
• 訓練中に観測されなかった複雑なラベル組み合わせのゼロショット予測を可能にすること。
• 深層ニューラルネットワークを用いて、ラベル集合（例：積集合、和集合、差集合）に対するエンドツーエンド微分可能な演算を学習すること。
• 入力ラベルの論理的組み合わせを表す特徴ベクトルを合成することで一般化性能を向上させること。
• 学習されたラベル集合演算の有効性を、現実世界の画像理解タスクにおいて実証すること。

提案手法

• LaSOは、入力画像特徴を、論理的ラベル集合演算を表す合成特徴ベクトルにマップする微分可能なニューラルネットワークを学習する。
• モデルは、望ましいラベル集合演算（例：A ∩ B）に一致する真の特徴ベクトルに最も近い特徴ベクトルを予測するように訓練される。
• 積集合、和集合、差集合などのラベル集合演算は、複数の入力画像の特徴表現を学習された微分可能な方法で組み合わせることで実行される。
• この手法はリtrievalベースの監視を用い、モデルはターゲットラベル集合のバリデーションセットにおける最近傍に一致する特徴ベクトルを生成するように学習する。
• パラメータを学習しない解析的バージョンのLaSOが導入され、強力なベースラインとして機能する。
• フレームワークはMS-COCOで評価され、訓練には64のカテゴリが使用され、バリデーションセットでゼロショット推論が実施される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、少数ショット例からラベルの論理的組み合わせ（例：積集合や和集合）を表す特徴ベクトルを合成できるか？
• RQ2 学習されたLaSO演算は、リtrievalベースラインと比較して、未観測のラベル集合組み合わせにどの程度一般化できるか？
• RQ3 モデルは差集合やA \ (B ∩ C)のようなネストされた演算を含む多様な演算に対して効果的に機能するか？
• RQ4 訓練データに存在しない複雑なラベル集合に対して、ゼロショット予測に一般化できるか？
• RQ5 学習されたLaSOは、解析的バージョンおよび標準的なリtrieval手法と比較して、精度と頑健性の面で優れているか？

主な発見

• LaSOは、特徴空間における真の最近傍に非常に近い特徴ベクトルを学習して合成することで、ゼロショットマルチラベル予測において優れた性能を達成する。
• 学習されたLaSO演算は、個々の入力を利用したリtrievalベースラインを著しく上回り、特にA \ (B ∩ C)のような複雑な演算において顕著である。
• 可視化結果から、LaSOが合成した特徴ベクトルは、真のラベルと意味的に整合していることが示され、シアン枠で囲まれた予測が正解の概念と一致している。
• 解析的LaSOバージョンは競争力のある性能を示しており、ラベル集合演算の幾何的構造が意味を持ち、学習可能であることを示している。
• この手法は未観測のラベル組み合わせに対しても良好に一般化され、MS-COCOにおけるマルチラベル少数ショットシナリオでの頑健性を示している。
• フレームワークは、積集合、和集合、差集合、およびネストされた組み合わせを含む多様な演算を効果的に処理でき、その多様性が確認された。