[論文レビュー] Weakly Supervised Disentanglement by Pairwise Similarities

Junxiang Chen, Kayhan Batmanghelich|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 7

ひとこと要約

本稿では、変分オートエンコーダー（VAEs）の弱教師付き分離化手法を提案する。この手法は、二項または実数値の類似度を弱教師信号として用い、潜在要因の分離性を向上させる。類似度を潜在変数の部分集合に依存させるとともに、それらの情報容量を罰則することで、ベンチマークおよびCOPD画像データセット（実世界のデータ）において、教師なしベースラインより顕著な性能向上を達成した。

ABSTRACT

Recently, researches related to unsupervised disentanglement learning with deep generative models have gained substantial popularity. However, without introducing supervision, there is no guarantee that the factors of interest can be successfully recovered. Motivated by a real-world problem, we propose a setting where the user introduces weak supervision by providing similarities between instances based on a factor to be disentangled. The similarity is provided as either a binary (yes/no) or a real-valued label describing whether a pair of instances are similar or not. We propose a new method for weakly supervised disentanglement of latent variables within the framework of Variational Autoencoder. Experimental results demonstrate that utilizing weak supervision improves the performance of the disentanglement method substantially.

研究の動機と目的

• 強いインダクティブバイアスが存在しない状況下で意味のある変動要因を回復する保証がない、教師なし分離化学習の課題に対処すること。
• ユーザーが関心のある要因に基づき、データインスタンス間のペアワイズ類似度（二項または実数値）を提供する実用的な弱教師設定を提案すること。
• データサンプルとペアワイズ類似度を同時にモデル化するVAEベースの手法を開発し、他の要因からの干渉を抑えて目的の要因の分離を実現すること。
• 強いラベルが入手不可能な実世界のCOPD画像データセットとベンチマークデータセットにおいて、スパイロメトリック測定値から導出された類似度ベースの監督を用いて評価すること。

提案手法

• 本手法はVAEフレームワークを拡張し、観測されたデータサンプルとペアワイズ類似度ラベルを統合的にモデル化するための結合尤度関数を用いる。
• ペアワイズ類似度は、特定の潜在変数の部分集合に条件付きで依存させつつ、他の変数とは独立させることで、目的要因の分離性を保証する。
• 類似度を担う潜在変数の情報容量を罰則する正則化項を導入し、それらが目的要因のみを捉えるように促進する。
• 再構成損失、KLダイバージェンス、および類似度固有の項を含む、エビデンス下限（ELBO）の目的関数を用いてモデルを訓練する。
• 類似度尤度は、潜在コードから予測類似度スコアを生成する微分可能関数でモデル化され、エンドツーエンドの学習を可能にする。
• β、η₁、η₂などのハイパーパrameterは、交差検証を用いて対数尤度とMIGなどの分離性指標を最適化するように調整される。

実験結果

リサーチクエスチョン

• RQ1 強いラベルが入手不可能な状況下で、ペアワイズ類似度の監督が教師なしVAEの分離性能を向上させ得るか？
• RQ2 二項または実数値のペアワイズ類似度の導入が、VAEにおける特定の潜在要因の分離性にどのように影響するか？
• RQ3 ペアワイズラベルの数を変化させた場合、分離性能にどのような影響があり、どこで性能が飽和するか？
• RQ4 本手法はノイズの多いペアワイズ類似度ラベルに対してどれほど感受性が高く、どの程度のノイズレベルまで耐えられるか？
• RQ5 提案手法は、医療画像データから疾患重症度を分離する点で、教師なしおよび強い監督を用いたベースラインを上回る性能を示せるか？

主な発見

• MIGやその他の指標で測定したところ、本手法はベンチマークデータセットおよびCOPD画像データセットにおいて、教師なしベースラインより顕著な分離性能の向上を達成した。
• ペアワイズラベルがたった0.01%（1万組中1組）のわずかな数でも、顕著な性能向上が得られ、高いサンプル効率を示した。
• 類似度ラベルのノイズが増加するにつれて性能は低下するが、ノイズレベルγ ≤ 0.1の範囲では、ベースラインと同等またはそれ以上の性能を維持した。
• z^(u)を回帰器として用いた場合、本手法はFEV1、エムファイゼマ%、ガストラップ%、GOLDスコアなどのCOPD重症度の臨床的指標を、教師なしベースラインを上回って予測できた。
• 最適なハイパーパrameterはβ ∈ [2,10]、η₁ = 1e3、η₂ = 2であり、それらの値を超えて変化させても感度が低く、性能にほとんど影響を及えないことが判明した。
• MNISTでは、生成された数字の間で書体の変化が一貫しており、数字のクラス要因が明確に分離されたことが、定性的なサンプルからも確認された。