[論文レビュー] A Unified Semantic Embedding: Relating Taxonomies and Attributes

Sung Ju Hwang, Leonid Sigal|arXiv (Cornell University)|Nov 18, 2014

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 40

ひとこと要約

本稿では、一貫した意味的埋め込み（USE）を提案する。USEは、物体のカテゴリ、スーパーカテゴリ、属性を共通の意味的空間に同時に埋め込む判別モデルであり、カテゴリをスーパーカテゴリに加え、スパースな属性の組み合わせとして表現可能にする。スパース性と擬似直交性を、マージン最大化学習とグラフベース正則化によって強制することで、分類精度と人間が理解可能な記述生成の両方を向上させ、少サンプルおよびマルチクラス認識タスクで最先端の性能を達成する。

ABSTRACT

We propose a method that learns a discriminative yet semantic space for object categorization, where we also embed auxiliary semantic entities such as supercategories and attributes. Contrary to prior work which only utilized them as side information, we explicitly embed the semantic entities into the same space where we embed categories, which enables us to represent a category as their linear combination. By exploiting such a unified model for semantics, we enforce each category to be represented by a supercategory + sparse combination of attributes, with an additional exclusive regularization to learn discriminative composition.

研究の動機と目的

• 物体のカテゴリ、スーパーカテゴリ、属性の表現を、視覚認識の向上を図るために、1つの意味的空間に統合すること。
• カテゴリをスーパーカテゴリに加え、判別的な属性のスパースな組み合わせとして記述可能にすることで、解釈可能性と一般化性能を向上させること。
• マージン制約とスパース正則化を通じて、意味的妥当性とロバスト性を強制する判別学習フレームワークの開発。
• カテゴリと属性の構造的意味的関係を活用することで、少サンプルおよびゼロショット学習の性能を向上させること。
• 学習済みの意味的構成に基づき、新規カテゴリのコンパクトで人間が理解可能な記述を生成すること。

提案手法

• 本手法は、画像特徴をd_e次元の意味的空間に写像するための線形変換行列Wを用いて、共有埋め込み空間を学習する。
• 各画像埋め込みが真のカテゴリ埋め込みに他のカテゴリよりも近くなるように保証するため、マージン最大化ランクに基づく判別損失関数（L_C）を採用する。
• 階層的ラベル構造を用いて、画像がそのスーパーカテゴリに他の兄弟スーパーカテゴリよりも近くなるように、別個の損失（L_S）を導入することでスーパーカテゴリの監視を実現する。
• 属性は同じ空間に基本ベクトルとして埋め込まれ、カテゴリ表現はそのスーパーカテゴリとスパースな属性集合の線形結合に制約される。
• 各意味的埋め込みが補助的意味的エンティティのスパースな組み合わせとして表現されることを促進するため、グラフベース正則化を適用する。これにより、コンパクトで意味のある組み合わせが促進される。
• 属性重みのスパース性を促進するため、排他的正則化を適用し、カテゴリ表現に寄与するのは最も判別的な属性のみとなるように保証する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ、スーパーカテゴリ、属性を同時にモデル化する統一された埋め込み空間を学習可能か？
• RQ2 判別学習フレームワークにおいて、カテゴリをスーパーカテゴリに加えスパースな属性集合として表現する意味的構成性をどのように強制できるか？
• RQ3 意味的埋め込み同士のスパース性と擬似直交性を強制することで、一般化性能と分類精度が向上するか？
• RQ4 学習済みの意味的構成に基づき、モデルが新規カテゴリのコンパクトで人間が理解可能な記述を生成できるか？
• RQ5 本手法は、従来のベースラインと比較して、少サンプルおよびゼロショット学習のシナリオでどのように性能を発揮するか？

主な発見

• USE-Regは、AWA-DeCAFデータセットでトップ1正解率46.42%を達成し、LME-MTL-SおよびLME-MTL-Aを含むすべてのベースラインを上回った。
• USE-Regの階層的精度@5は76.62%に達し、次に優れた手法（74.67%）を大きく上回り、意味的レベル全体にわたる一般化性能の向上が明確に示された。
• 少サンプル学習では、AWA-DeCAFにおける2ショット正解率が38.93%から49.87%に向上し、低データ環境下での有効性が顕著に示された。
• 定性的な分析では、モデルがコンパクトで判別的な記述を生成することを確認した。例として、「縞模様を持つmusteline哺乳類」といった記述が、非判別的属性の使用を最小限に抑えながら行われた。
• モデルは、地面真の属性が提供されていなくても、『arctic』をモーリングに割り当てるなど、属性をスーパーカテゴリに適切に割り当てる能力を学習した。
• 排他的正則化の導入により、性能が顕著に向上した。USE-RegとUSE-No Regを比較したところ、トップ1正解率が1.5%向上し、階層的精度@5は1.65%向上した。