[論文レビュー] Bayesian representation learning with oracle constraints

Theofanis Karaletsos, Serge Belongie+1 more|arXiv (Cornell University)|Jun 16, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 34

ひとこと要約

本稿では、変分推論を用いて、人間が感じる類似性の判断といったオラクルが提供する三つ組制約を非線形な潜在要因モデルに統合するベイジアン生成モデルを提案する。三つ組制約を確率的にモデル化し、マスクされた部分空間を用いて意味的要因を分離することで、性能と解釈可能性の両方を向上させた意味的構造を持つ表現を学習する。この手法は、画像表現タスクにおいて、メトリクス学習や教師なし生成モデルを上回る性能を達成する。

ABSTRACT

Representation learning systems typically rely on massive amounts of labeled data in order to be trained to high accuracy. Recently, high-dimensional parametric models like neural networks have succeeded in building rich representations using either compressive, reconstructive or supervised criteria. However, the semantic structure inherent in observations is oftentimes lost in the process. Human perception excels at understanding semantics but cannot always be expressed in terms of labels. Thus, \emph{oracles} or \emph{human-in-the-loop systems}, for example crowdsourcing, are often employed to generate similarity constraints using an implicit similarity function encoded in human perception. In this work we propose to combine \emph{generative unsupervised feature learning} with a \emph{probabilistic treatment of oracle information like triplets} in order to transfer implicit privileged oracle knowledge into explicit nonlinear Bayesian latent factor models of the observations. We use a fast variational algorithm to learn the joint model and demonstrate applicability to a well-known image dataset. We show how implicit triplet information can provide rich information to learn representations that outperform previous metric learning approaches as well as generative models without this side-information in a variety of predictive tasks. In addition, we illustrate that the proposed approach compartmentalizes the latent spaces semantically which allows interpretation of the latent variables.

研究の動機と目的

• ラベル付きデータが乏しい、あるいは存在しない状況において、意味的に意味のある表現を学習する課題に対処すること。
• 知覚的類似性といった、人間が関与するインフォームドルートの知識を、明示的で解釈可能な潜在空間に移行すること。
• 純粋に教師なしの表現学習の限界を乗り越えるために、構造的で明示的でないオラクルフィードバックを統合すること。
• マスクされた部分空間を用いてオラクル制約をモデル化することで、分離可能で解釈可能な潜在表現を実現すること。
• 教師あり事前学習を必要とせず、データと三つ組制約を統合的に学習できるスケーラブルでエンドツーエンドのフレームワークを開発すること。

提案手法

• 三つ組制約（例：x_i は x_j より x_l よりも類似性が高い）を潜在表現上の確率的尤度関数として形式化する。
• オラクルの類似性判断を、潜在要因上での未観測で暗黙の類似性関数としてモデル化し、三つ組プロセスの生成モデルを用いる。
• 異なる種類のオラクルクエリに適した、質問固有のマスクされた部分空間を潜在空間に導入し、識別、照明など異なる意味的要因を分離して学習する。
• 変分推論アルゴリズムを用いて潜在変数の事後分布を近似し、データと三つ組制約の両方からの効率的で統合的な学習を可能にする。
• 情報理論的距離測度に基づく尤度を三つ組観測用に定義し、標準的なユークリッドベースの三つ組損失を一般化する。
• データ再構成と三つ組制約の満たし方を統合した尤度関数を用いてモデルを学習し、生成的およびメトリクス的目標の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングからのような、暗黙的で人間が提供する類似性制約を、ベイジアン生成モデルに効果的に統合することで、表現品質を向上させることができるか？
• RQ2 識別、照明などの異なる意味的要因が別々の部分空間に局在するように、潜在空間の分離をどのように達成できるか？
• RQ3 オラクル制約を統合することで、純粋に教師なしまたはメトリクス学習手法と比較して、下流の予測性能がどの程度向上するか？
• RQ4 明示的なラベルや事前学習済み特徴量を一切必要とせず、解釈可能で意味的に意味のある表現を学習できるか？
• RQ5 マスクされた部分空間の使用が、複数の多様な種類のオラクルクエリを同時に学習する能力をどのように向上させるか？

主な発見

• モデルは、識別、方位、照明の角度といった、明確に分離された意味的要因に対応する解釈可能な潜在部分空間を学習する。
• t-SNEの可視化では、顔の識別ごとに明確なクラスタリングと、照明角度に沿った滑らかな遷移が確認され、潜在空間に意味的な構造があることが裏付けられる。
• 最先端のメトリクス学習法および教師なし生成モデルと比較して、三つ組予測および分類タスクで優れた性能を達成する。
• マスクされた潜在空間における補間を用いた制御された画像生成により、ある画像の顔の識別と別の画像の照明条件を効果的に組み合わせることができ、意味的制御の有効性が示された。
• 稀なオラクルフィードバックのもとでも、教師なしオートエンコーダーやメトリクス学習のベースラインを上回る予測精度を達成する。
• マスクされた部分空間の使用により、異なるオラクルクエリに適した明確な特徴をモデルが学習でき、一般化性能と解釈可能性が向上した。