[論文レビュー] Vocabulary-informed Extreme Value Learning

Yanwei Fu, Hanze Dong+3 more|arXiv (Cornell University)|May 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 4

ひとこと要約

本論文は、オープンボキャブラリー事前知識と極値理論を用いて、視覚的特徴を確率的意味的空間にマッピングする、新たな意味的埋め込みフレームワークである Vocabulary-informed Extreme Value Learning (ViEVL) を提案する。クラスのマージンとカバレッジ分布をモデル化することで、教師あり学習、ゼロショット認識、オープンセット認識の統合的性能を実現し、ベンチマークデータセットで最先端の結果を達成する。

ABSTRACT

The novel unseen classes can be formulated as the extreme values of known classes. This inspired the recent works on open-set recognition \cite{Scheirer_2013_TPAMI,Scheirer_2014_TPAMIb,EVM}, which however can have no way of naming the novel unseen classes. To solve this problem, we propose the Extreme Value Learning (EVL) formulation to learn the mapping from visual feature to semantic space. To model the margin and coverage distributions of each class, the Vocabulary-informed Learning (ViL) is adopted by using vast open vocabulary in the semantic space. Essentially, by incorporating the EVL and ViL, we for the first time propose a novel semantic embedding paradigm -- Vocabulary-informed Extreme Value Learning (ViEVL), which embeds the visual features into semantic space in a probabilistic way. The learned embedding can be directly used to solve supervised learning, zero-shot and open set recognition simultaneously. Experiments on two benchmark datasets demonstrate the effectiveness of proposed frameworks.

研究の動機と目的

• 既存のオープンセット認識手法が、未学習の新規クラスを名前付けたり意味的に記述できないという制限を解消すること。
• 意味的空間における極値として新規クラスをモデル化することで、未学習クラスの命名と意味的特徴の特定を可能にすること。
• 教師あり学習、ゼロショット認識、オープンセット認識を同時にサポートする統合的学習フレームワークの開発。
• 広範なオープンボキャブラリー意味的事前知識を活用し、クラス分布のより強固で意味的に意味のあるモデル化を実現すること。
• マージンとカバレッジ分布を捉える確率的埋め込み手法を定式化し、視覚的特徴を意味的空間にマッピングすること。

提案手法

• 既存クラスの極値として新規クラスを定式化し、分布モデル化に極値理論（EVT）を活用する。
• 意味的空間におけるクラスのマージンとカバレッジを、大規模なオープンボキャブラリーを用いてモデル化する Vocabulary-informed Learning (ViL) を導入する。
• Extreme Value Learning (EVL) と ViL を統合し、確率的視覚的特徴から意味的空間へのマッピングを可能にする ViEVL フレームワークを構築する。
• 意味的空間の分布を用いて、サンプルが既知クラスに属する確率、または新規の極値クラスに属する確率を推定する。
• エンドツーエンドで学習し、不確実性を考慮した表現を有する視覚的特徴の意味的空間への埋め込みを実現する。
• 得られた埋め込み空間を、再訓練や適応なしに、教師あり、ゼロショット、オープンセット認識タスクの直接推論に利用する。

実験結果

リサーチクエスチョン

• RQ1 意味的空間における極値として新規クラスを効果的にモデル化することで、それまで未学習のカテゴリの意味的命名と特徴記述が可能になるか？
• RQ2 オープンボキャブラリー事前知識を統合することで、視覚認識におけるクラス分布モデル化のロバスト性と意味的解釈可能性がどのように向上するか？
• RQ3 統合的フレームワークが、教師あり学習、ゼロショット認識、オープンセット認識をどの程度同時にサポートできるか？
• RQ4 意味的空間への確率的埋め込みにより、既知カテゴリを超える新規クラスへの一般化性能がどのように向上するか？
• RQ5 既知クラスのマージンとカバレッジ分布を明示的にモデル化することで、未学習クラスの検出と表現がどの程度向上するか？

主な発見

• 提案された ViEVL フレームワークは、ゼロショット認識およびオープンセット認識の2つのベンチマークデータセットで最先端の性能を達成した。
• 新規クラスを極値としてモデル化することで、従来のオープンセット認識手法には欠けていた、以前未学習だったカテゴリの意味的命名が可能になった。
• オープンボキャブラリー事前知識の統合により、モデルの新規クラスへの表現力および一般化能力が顕著に向上した。
• 確率的埋め込み空間により、再訓練や適応なしに複数の認識パラダイムに直接利用可能である。
• クラスカバレッジとマージン分布の明示的モデル化のおかげで、分布外サンプルの検出と一般化性能が向上した。
• 実験的結果から、ViEVL はゼロショットおよびオープンセット認識ベンチマークの両方で、既存手法を上回ることが確認された。