[論文レビュー] StarNet: towards weakly supervised few-shot detection and explainable few-shot classification

Leonid Karlinsky, Joseph Shtok+9 more|arXiv (Cornell University)|Mar 15, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

StarNetは、画像レベルのラベルのみを用いて弱教師付き少数ショット検出および説明可能な少数ショット分類を可能にする、エンドツーエンド微分可能な非パrametricスターモデル分類ヘッドを導入する。スターモデルを通じてクエリ画像とサポート画像を幾何学的にアライメントさせることで、CUBおよびImageNetLOC-FSで最先端の性能を達成するとともに、解釈可能な予測のためのオブジェクト局在化を実現する。

ABSTRACT

Few-shot learning for classification has advanced significantly in recent years. Yet, these approaches rarely provide interpretability related to their decisions or localization of objects in the scene. In this paper, we introduce StarNet, featuring an end-to-end differentiable non-parametric star-model classification head. Through this head, the backbone is meta-trained using only image-level labels to produce good features for classifying previously unseen categories of few-shot test tasks using a star-model that geometrically matches between the query and support images. This also results in localization of corresponding object instances (on the query and best matching support images), providing plausible explanations for StarNet's class predictions. We evaluate StarNet on multiple few-shot classification benchmarks attaining significant gains on CUB and ImageNetLOC-FS. In addition, we test the proposed approach on the previously unexplored and challenging task of Weakly Supervised Few-Shot Object Detection (WS-FSOD), obtaining significant improvements over the baselines.

研究の動機と目的

• 既存の少数ショット分類手法における解釈可能性の欠如とオブジェクト局在化の欠如に対処する。
• 画像レベルのラベルしか利用できない弱教師付き条件下で少数ショットオブジェクト検出を可能にする。
• クエリ画像とサポート画像間の幾何的アライメントを活用するメタラーニングフレームワークを構築し、少数ショット一般化性能を向上させる。
• クエリ画像およびサポート画像の両方における対応するオブジェクトインスタンスの局在化を通じて、モデルの予測に対する妥当な視覚的説明を提供する。
• 少数ショット学習の適用範囲を、弱教師付き少数ショットオブジェクト検出（WS-FSOD）という挑戦的なタスクに拡張する。

提案手法

• 幾何的整合性に基づいてクエリ画像とサポート画像の特徴をマッチングする、微分可能で非パrametricなスターモデル分類ヘッドを導入する。
• 画像レベルのラベルのみを用いてバックボーンをメタトレーニングし、未知の少数ショットカテゴリのための判別性の高い特徴を抽出する。
• スターモデルを用いてクエリ画像とサポート画像の特徴間の空間的対応関係を強制し、特徴の共同アライメントと分類を可能にする。
• スターモデルからのアテンションマップを活用して、クエリ画像およびサポート画像の両方におけるオブジェクトインスタンスを局在化させ、解釈性を向上させる。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、バックボーンとスターモデルヘッドを同時に最適化可能にする。
• 学習された特徴を、少数ショット分類および弱教師付き少数ショットオブジェクト検出の両タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付き少数ショット分類モデルは、局在化されたアテンションを通じて、高い精度と解釈可能性を両立できるか？
• RQ2 スターモデルを用いた幾何的特徴マッチングは、未知のカテゴリにおける少数ショット一般化をどの程度向上させられるか？
• RQ3 同じフレームワークを、ボクセルボックスのアノテーションが一切ない弱教師付き少数ショットオブジェクト検出に拡張可能か？
• RQ4 スターモデルは、予測の説明のための関連オブジェクト領域を、クエリ画像およびサポート画像の両方でどの程度正確に局在化できるか？
• RQ5 CUBやImageNetLOC-FSのような挑戦的な少数ショットベンチマークにおいて、提案手法は既存のベースラインを上回る性能を発揮するか？

主な発見

• StarNetは、少数ショット分類のためのCUBベンチマークで顕著な性能向上を達成し、先行手法を上回る。
• ImageNetLOC-FSでは最先端の結果を達成し、複雑で細分化された少数ショット分類タスクへの強力な一般化能力を示した。
• 新たに導入された弱教師付き少数ショットオブジェクト検出（WS-FSOD）ベンチマークにおいても、顕著な改善を達成し、既存のベースラインを上回った。
• スターモデルヘッドにより、クエリ画像およびサポート画像の両方におけるオブジェクトインスタンスの正確な局在化が可能となり、予測の視覚的説明が可能になった。
• メタトレーニング時にボクセルボックスアノテーションを一切使用しない画像レベルのラベルのみを用いることで、ボクセルボックスアノテーションが不要な有効な少数ショット一般化が実現された。
• 微分可能なスターモデルヘッドのおかげでエンドツーエンド学習が可能となり、特徴アライメントと分類性能の両方が向上した。