[論文レビュー] Semantically Consistent Regularization for Zero-Shot Recognition

Pedro Morgado, Nuno Vasconcelos|arXiv (Cornell University)|Apr 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 22

ひとこと要約

本論文は、損失ベースの正則化とコードワード正則化を組み合わせて、意味的コードの共同学習と一般化性能の向上を図る、ゼロショット学習のための新しいCNNフレームワークである意味的整合性正則化（SCoRe）を提案する。独立した意味的監視と構造的な意味的依存関係の両方を活用することで、複数のデータセットで最先端の性能を達成し、VGG19を用いたCUBでは先行手法よりも最大10.5%の向上を達成した。

ABSTRACT

The role of semantics in zero-shot learning is considered. The effectiveness of previous approaches is analyzed according to the form of supervision provided. While some learn semantics independently, others only supervise the semantic subspace explained by training classes. Thus, the former is able to constrain the whole space but lacks the ability to model semantic correlations. The latter addresses this issue but leaves part of the semantic space unsupervised. This complementarity is exploited in a new convolutional neural network (CNN) framework, which proposes the use of semantics as constraints for recognition.Although a CNN trained for classification has no transfer ability, this can be encouraged by learning an hidden semantic layer together with a semantic code for classification. Two forms of semantic constraints are then introduced. The first is a loss-based regularizer that introduces a generalization constraint on each semantic predictor. The second is a codeword regularizer that favors semantic-to-class mappings consistent with prior semantic knowledge while allowing these to be learned from data. Significant improvements over the state-of-the-art are achieved on several datasets.

研究の動機と目的

• 既存のゼロショット学習（ZSL）手法が意味的相関を無視する（RIS）か、意味的空間の大部分を監視しない（RULE）という限界を解消すること。
• 深層CNNにおける独立した意味的特徴（RIS）と共同意味的学習（RULE）の相補的利点を活用し、ゼロショット一般化を向上させること。
• 意味的コードと分類コードの両方を学習する統合フレームワークを開発し、それらの間の整合性を正則化で強制すること。
• 意味的埋め込みに固定するのではなく、分類コードワードを学習することでZSL性能が顕著に向上することを示すこと。
• 提案フレームワーク下での属性、階層構造、Word2Vecといった異なる意味的表現がZSL性能に与える影響を調査すること。

提案手法

• 損失ベース正則化（各意味的予測子を制約）とコードワード正則化（学習された分類コードを意味的知識と整合させる）を組み合わせた二重正則化フレームワークを提案する。
• 特徴と意味的コードの両方をエンドツーエンドで学習可能にするために、CNNに隠れ意味的層を導入する。
• クラスラベルを意味的ベクトルにマップするラベル埋め込み関数φ(y)を用い、監視と正則化の基盤を形成する。
• 共有特徴を有する1つのCNNを訓練するが、個別の意味的予測子を別々に持たせ、正則化により予測が事前意味的知識と一貫したままであるように保証する。
• 交差エントロピー損失と2つの正則化項を組み合わせた共同目的関数を最適化する。1つは各属性ごとの一般化を強制し、もう1つは意味的コードと分類コードの間の整合性を促進する。
• 一貫性と柔軟性のバランスを取るために、訓練クラスのサブセットでハイパーパrameter λ（損失正則化係数）と β（コードワード正則化係数）をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 独立した意味的監視（RIS）と共同意味的学習（RULE）を組み合わせることで、深層CNNにおけるゼロショット認識性能がどのように向上するか？
• RQ2 意味的埋め込みに固定するのではなく、分類コードワードを学習することでZSL性能にどのような影響を与えるか？
• RQ3 訓練クラスとゼロショットクラスの意味的部分空間の整合性が、損失ベース正則化の有効性に与える影響は何か？
• RQ4 属性、分類体系、Word2Vecのうち、どの意味的表現が提案フレームワーク下で最も優れた転移性能を示すか？
• RQ5 タスクに特化した正則化（SCoRe）は、タスクに依存しない正則化（例：固定された意味的コード）を上回る性能を発揮できるか？

主な発見

• Deep-SCoReはCUB、AwA、IFCBでSOTAを達成し、それぞれAlexNet、GoogLeNet、VGG19を用いた先行手法よりも絶対的に7.9%、3.7%、10.5%の向上を達成した。
• コードワード正則化が固定された意味的コードを上回り、最適な性能は中間のβ値で達成されており、一貫性と学習可能性のバランスが重要であることを示した。
• 損失ベース正則化は意味的部分空間の整合性が悪いデータセット（例：IFCB）で最大の向上を示し、転送性が低い場合に特に有効であるという仮説を裏付けた。
• SCoReはRISおよびRULEベースラインを著しく上回り、意味的整合性正則化を用いた共同学習の優位性を実証した。
• 属性を意味的表現として使用した場合が最も優れた転移性能を示し、次に階層構造、Word2Vecの順であった。これは属性がZSLにおいて高い識別力を持つことを確認した。
• 制限のないCNN（ランダム初期化）はゼロショットクラスに一般化できず、ZSLでは意味的正則化の必要性を強調した。