[論文レビュー] Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning

Hongguang Zhang, Piotr Koniusz+3 more|arXiv (Cornell University)|Jan 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 5

ひとこと要約

本稿では、意味的アノテーションを用いて、クラス概念認識（絶対学習）と現実的で柔ららかな類似関係（相対学習）の両方を同時に最適化する、新しい少サンプル学習の枠組みである絶対的相対的学習（ArL）を提案する。クラスラベルと属性、またはword2vecベースの関係監視を組み合わせることで、tiered-ImageNet や Open MIC といったベンチマークデータセット上で、最大4%の少サンプル精度向上を達成する。これは、教師なし設定下でも同様に有効である。

ABSTRACT

The majority of existing few-shot learning methods describe image relations with binary labels. However, such binary relations are insufficient to teach the network complicated real-world relations, due to the lack of decision smoothness. Furthermore, current few-shot learning models capture only the similarity via relation labels, but they are not exposed to class concepts associated with objects, which is likely detrimental to the classification performance due to underutilization of the available class labels. To paraphrase, children learn the concept of tiger from a few of actual examples as well as from comparisons of tiger to other animals. Thus, we hypothesize that in fact both similarity and class concept learning must be occurring simultaneously. With these observations at hand, we study the fundamental problem of simplistic class modeling in current few-shot learning methods. We rethink the relations between class concepts, and propose a novel Absolute-relative Learning paradigm to fully take advantage of label information to refine the image representations and correct the relation understanding in both supervised and unsupervised scenarios. Our proposed paradigm improves the performance of several the state-of-the-art models on publicly available datasets.

研究の動機と目的

• 二値の類似度ラベルに依存する従来の少サンプル学習手法の限界を解決する。これらの手法は意思決定の滑らかさに欠け、現実世界の微細な関係をモデル化できない。
• 現在の関係ベースのモデルで不十分に活用されているクラスラベルの活用を改善する。訓練プロセスに明示的なクラス概念学習を統合する。
• モデルに物体の概念を認識させると同時に、それらの相対的類似性を理解させるという人間の学習に類似した統合的フレームワークを構築する。
• 提案されたパラダイムを教師なし少サンプル学習に拡張し、推論時に訓練データのラベルを必要としない状況でも性能向上を実現する。
• フィードバック接続を介した絶対的および相対的学習の統合が、特に低データ環境下で一般化性能と頑健性を向上させることを示す。

提案手法

• 二重ストリーム学習フレームワークを提案：物体のクラスアイデンティティを予測する絶対学習（AL）と、画像ペア間の柔ららかで意味的ベースの類似性をモデル化する相対学習（RL）の2つを用いる。
• 属性やword2vecによる埋め込みを用いて、硬直的な二値ラベル {0,1} の代わりに連続的で現実的な類似度ラベルを生成することで、微細な視覚的差異のモデル化を向上させる。
• AL と RL モジュールをマルチタスク学習の枠組みで統合し、各ストリームの予測が相手の表現を改善するフィードバックを提供する。
• データオーグメンテーション（例：回転、反転、色のずれ）を用いて、訓練中に絶対学習のための疑似ラベルを生成する教師なしバージョンのArLを設計する。
• Relation Net や SoSN、SalNet といった最先端モデルにArLフレームワークを適用し、関係ネットワークをバックボーンとし、関係ヘッドに意味的監視を統合する。
• AL と RL の出力から得られる解釈可能な特徴統合を用いて、最終的な分類意思決定を強化し、一般化性能と解釈可能性を向上させる。

Figure 1 : Our few-shot learning paradigm. Absolute Learning (AL) refers to the strategy where a pipeline learns to predict absolute object information e.g. , object or concept class. Relative Learning (RL) denotes similarity (relation) learning with the use of binary $\{0,1\}$ and/or soft $[0;1]$ s

実験結果

リサーチクエスチョン

• RQ1 二値の類似度ラベルを連続的で意味的ベースの関係監視に置き換えることで、少サンプル学習の性能が向上するか？
• RQ2 クラス概念と画像関係の両方を同時に学習することは、それらを別々に学習する場合よりも一般化性能を向上させるか？
• RQ3 提案された絶対的相対的学習（ArL）パラダイムは、訓練ラベルにアクセスできない状況でも、教師なし少サンプル学習に効果的に拡張可能か？
• RQ4 複数のラベル抽象化（クラス、属性、word2vec）を統合することで、モデルの性能と頑健性にどのような影響を与えるか？
• RQ5 絶対的予測からのフィードバックが、少サンプル環境下での相対的関係表現の質をどの程度向上させるか？

主な発見

• 提案されたArLフレームワークは、tiered-ImageNet において、ベースラインモデル比で1ショットと5ショットの両方の少サンプル学習精度を最大4.2%向上させ、5ショットプロトコルでは57.21%の精度を達成した。
• Open MIC データセットでは、ArLを組み込んだ教師ありSoSNの教師なしバージョン（U-SoSN + ArL）が、すべての評価プロトコルで教師ありSoSNを上回り、低データ環境下での教師なしArLの有効性を示した。
• ArLにword2vecベースの意味的関係を用いることで、ベースラインのSoSN比で5ショット学習で1.7%の精度向上が得られ、二値ラベルに比べて柔らかく連続的な監視の利点が明らかになった。
• アブレーションスタディの結果、属性ベースの意味的監視が、すべての関係監視タイプの中で最も高い性能向上をもたらすことが確認され、特に5ショット設定で顕著であった。
• 複数の絶対学習モジュール（クラス、属性、word2vec）を組み合わせても、さらに精度が向上しないことから、属性が概念学習に適した明確で十分な信号を提供していることが示唆された。
• 教師なしArLバージョンは、tiered-ImageNet において1ショット学習で42.31%、5ショット学習で57.21%の精度を達成し、訓練時にラベルが一切ないにもかかわらず、先行する教師なし手法を上回った。

Figure 2 : The proposed pipeline for our Absolute-relative Learning (supervised setting). It consists of three blocks, namely (i) feature encoder to extract the image representations, (ii) Absolute Learning module to enhance the feature quality with auxiliary supervision, (iii) Relative Learning mod