[論文レビュー] Disentangling Nonlinear Perceptual Embeddings With Multi-Query Triplet Networks.

Andreas Veit, Serge Belongie+1 more|arXiv (Cornell University)|Mar 25, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 6

ひとこと要約

本稿では、因子化された三重埋め込みと潜在空間のアテンションメカニズムを用いて、複数の視覚的概念を同時にモデル化することで、非線形の知覚埋め込みを分離する、新しい三重埋め込みベースの深層学習フレームワーク、マルチクエリネットワーク（MQNs）を提案する。この手法は、共有埋め込み空間内に意味的に異なる部分空間を学習し、知覚表現学習において、標準の三重埋め込みネットワークや概念特化型ネットワークを上回る性能を発揮する。

ABSTRACT

In typical perceptual tasks, higher-order concepts are inferred from visual features to assist with perceptual decision making. However, there is a multitude of visual concepts which can be inferred from a single stimulus. When learning nonlinear embeddings with siamese or triplet networks from similarities, we typically assume they are sourced from a single visual concept. In this paper, we are concerned with the hypothesis that it can be potentially harmful to ignore the heterogeneity of concepts affiliated with observed similarities when learning these embedding networks. We demonstrate empirically that this hypothesis holds and suggest an approach that deals with these shortcomings, by combining multiple notions of similarities in one compact system. We propose Multi-Query Networks (MQNs) that leverage recent advances in representation learning on factorized triplet embeddings in combination with Convolutional Networks in order to learn embeddings differentiated into semantically distinct subspaces, which are learned with a latent space attention mechanism. We show that the resulting model learns visually relevant semantic subspaces with features that do not only outperform single triplet networks, but even sets of concept specific networks.

研究の動機と目的

• 埋め込み学習時に単一の背後にある視覚的概念を仮定する標準の三重埋め込みネットワークの制限を解消すること。
• 類似信号における視覚的概念の不均一性を無視すると、表現品質が低下するかどうかを調査すること。
• 単一のコンactなネットワークアーキテクチャ内で複数の視覚的概念を同時にモデル化する統合フレームワークを構築すること。
• 因子化された三重埋め込みにおけるアテンション機構を用いて、埋め込み空間内に意味的に分離された部分空間を学習すること。

提案手法

• 各クエリが異なる視覚的概念に対応するマルチクエリアーキテクチャを採用し、ネットワークが入力刺激の異なる側面に注目できるようにする。
• 因子化された三重埋め込みを用いて、各概念に特化した意味的に明確な部分空間に埋め込み空間を分解する。
• 潜在空間のアテンションメカニズムにより、入力の文脈に応じて異なる部分空間からの寄与を動的に重み付けし、表現の特異性を向上させる。
• 内部概念内での類似性と概念間での分離を促進する組み合わせ三重損失を用いて、エンド・ツー・エンドでネットワークを訓練する。
• 畳み込みニューラルネットワークを特徴抽出のバックボーンとして用い、階層的な視覚表現を提供する。
• 1つのコンactで複数の概念特化型部分空間を同時に最適化可能であり、各概念ごとに別々のネットワークを用意する必要がなくなる。

実験結果

リサーチクエスチョン

• RQ1 類似信号における視覚的概念の不均一性を無視すると、学習された非線形埋め込みの品質が劣化するか？
• RQ2 複数の概念を同時にモデル化することで、1つのディープネットワークが複数の意味的に異なる部分空間を効果的に学習できるか？
• RQ3 複数概念学習フレームワークの性能は、単一概念三重埋め込みネットワークと比べてどのように異なるか？
• RQ4 因子化された部分空間に対するアテンション機構は、どの程度分離性と表現品質を向上させるか？
• RQ5 統合されたマルチクエリネットワークは、概念特化型ネットワークのアンサンブルを上回る性能を示せるか？

主な発見

• 提案されたマルチクエリネットワークは、知覚埋め込みタスクにおいて標準の三重埋め込みネットワークを上回る優れた性能を達成し、一般化性と分離性の両面で向上が確認された。
• モデルは、定性的な分析により、明確に区別された視覚的概念に対応する視覚的に関連する意味的サブスペースを学習していることが確認された。
• アテンション機構は、異なるサブスペースからの寄与を効果的に調整し、文脈に応じた表現選択を可能にした。
• 単一三重埋め込みネットワークや概念特化型ネットワークのアンサンブルを上回る性能を示した。これは、分離を伴う統合学習が、独立した学習よりも効果的であることを示している。
• 実騴的結果により、埋め込み学習時に概念の不均一性を無視すると、最適でない表現が得られることを確認し、本稿の核心的仮説を裏付けた。