[論文レビュー] Learning Deep Disentangled Embeddings with the F-Statistic Loss

Karl Ridgeway, Michael C. Mozer|arXiv (Cornell University)|Feb 14, 2018

Face and Expression Recognition被引用数 43

ひとこと要約

深層埋め込みに基づくF統計量ベースの損失を導入し、次元の subset でクラス分離を促進することで few-shot 学習をサポートし、同時に分離可能性を促進する。

ABSTRACT

Deep-embedding methods aim to discover representations of a domain that make explicit the domain's class structure and thereby support few-shot learning. Disentangling methods aim to make explicit compositional or factorial structure. We combine these two active but independent lines of research and propose a new paradigm suitable for both goals. We propose and evaluate a novel loss function based on the $F$ statistic, which describes the separation of two or more distributions. By ensuring that distinct classes are well separated on a subset of embedding dimensions, we obtain embeddings that are useful for few-shot learning. By not requiring separation on all dimensions, we encourage the discovery of disentangled representations. Our embedding method matches or beats state-of-the-art, as evaluated by performance on recall@$k$ and few-shot learning tasks. Our method also obtains performance superior to a variety of alternatives on disentangling, as evaluated by two key properties of a disentangled representation: modularity and explicitness. The goal of our work is to obtain more interpretable, manipulable, and generalizable deep representations of concepts and categories.

研究の動機と目的

• few-shot learning をサポートする埋め込み次元でクラスを分離する表現を追求する。
• すべての次元がすべてのクラスを分離する必要はなく、分離可能性のある表現を奨励する。
• 確率的な次元ごとの分離基準で深層埋め込みと分離学習の文献を橋渡しする。

提案手法

• 埋め込み次元におけるクラス平均とクラス内分散間のF統計ベースの分離尺度を定義する。
• 各クラス対の strongest separation を持つ上位 d 次元を選択して、多次元埋め込みに拡張する。
• 選択された次元を横断して分離の負の対数確率を最小化する損失を定式化する。
• クラス認識性属性または unnamed-factor オラクルを用いて、同一性分類または分離因子の学習のために埋め込みを訓練する。
• ADAM で訓練し、recall@1 と few-shot タスクを評価し、ヒストグラム、トリプレット、二項 Deviance、LSSS 損失と比較する。

実験結果

リサーチクエスチョン

• RQ1 F統計損失は最先端の損失と対して recall@1/few-shot タスクで競合的な埋め込みを生み出せるか？
• RQ2 埋め込み次元のサブセットで分離を強制することで、より分離された表現を得られるか？
• RQ3 F統計損失はモジュール性、コンパクト性、学習因子の明示性のトレードオフをどうする？
• RQ4 教師あり（クラス認識付き）と弱教師あり（unnamed-factor）設定の両方でアプローチは頑健か？

主な発見

• F統計損失はCUHK03、Market-1501、CUB-200-2011 のデータセットで recall@1 を競合または上回る。
• 分離指標において、F統計損失は特に小型NOR B データセットで優れたモジュール性と明示性を達成。
• Unnamed-factor および クラス認識 supervision の両方で強いモジュール性と明示性を示し、多くの設定で β-VAE を上回る。
• 分離次元数 d を増やすと堅牢性が増し、広い範囲で d に対して性能が比較的不感。