[論文レビュー] Disentangling Factors of Variation Using Few Labels

Francesco Locatello, Michael Tschannen+4 more|arXiv (Cornell University)|May 3, 2019

Spectroscopy and Chemometric Analyses参考文献 70被引用数 50

ひとこと要約

本論文は、非常に少量のラベル付きデータが、監督なし学習と半監督付き disentanglement 学習の双方を導くことができ、信頼性のある分離表現と大規模実験（52,000を超えるモデル）にわたる効果的なモデル選択を可能にすることを示している。

ABSTRACT

Learning disentangled representations is considered a cornerstone problem in representation learning. Recently, Locatello et al. (2019) demonstrated that unsupervised disentanglement learning without inductive biases is theoretically impossible and that existing inductive biases and unsupervised methods do not allow to consistently learn disentangled representations. However, in many practical settings, one might have access to a limited amount of supervision, for example through manual labeling of (some) factors of variation in a few training examples. In this paper, we investigate the impact of such supervision on state-of-the-art disentanglement methods and perform a large scale study, training over 52000 models under well-defined and reproducible experimental conditions. We observe that a small number of labeled examples (0.01--0.5\% of the data set), with potentially imprecise and incomplete labels, is sufficient to perform model selection on state-of-the-art unsupervised models. Further, we investigate the benefit of incorporating supervision into the training process. Overall, we empirically validate that with little and imprecise supervision it is possible to reliably learn disentangled representations.

研究の動機と目的

• 限られた監視で実用的な disentanglement 学習を動機づける。
• 最先端手法のモデル選択と訓練に対して、いくつのラベルがどれだけ影響するかを定量化する。
• ラベルの不正確さや部分ラベリングの下での監視の頑健性を評価する。
• disentangled 表現学習における限られた監視の活用に関する実践的ガイドラインを提供する。

提案手法

• 標準的な disentanglement 指標が、非常に少数のラベルを用いて良いモデルを識別できるかを評価する。
• さまざまなラベリング条件下で、4つのデータセットにわたり、100または1000ラベルで52,000以上のモデルを訓練する。
• U/S（無監督訓練と監督付き検証）と、訓練中に監督を用いる半監督訓練（S2/S）を比較する。
• ラベル付き情報を訓練に組み込むため、損失関数に単純な supervised regularizer（R_s）を導入し、その影響を評価する。
• モデル選択指標（MIG、DCI Disentanglement、SAP）とテスト指標を用いて disentanglement を評価する。
• 不完全なラベル（ビン分け、ノイズ、部分的ラベル）およびラベル置換に対する頑健性を検討する。）

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き例で、無監督訓練から良好な disentangled モデルを選択するのに十分か？
• RQ2 訓練に限られた監視を組み込むことは、監督付き検証を伴う無監督訓練より優れているか？
• RQ3 このような監視アプローチは、ラベルノイズ、不確実さ、部分的ラベリングに対してどれほど頑健か？
• RQ4 結果は複数の標準的な disentanglement データセット全体に一般化するか？

主な発見

• 非常に少数のラベル（データの0.01%–0.5%）で、無監督 disentanglement 法のモデル選択を行うのに十分である。
• 監督付き検証を伴う無監督訓練は、 disentangled 表現の信頼性ある学習を可能にする。
• 訓練中の監視の組み込みは、検証だけを伴う無監督訓練よりしばしば優れている。
• 半監督訓練は、ラベルノイズおよび部分的/大まかなラベルに対して頑健である。
• 多くの因子を粗くラベリングする方が、少数の因子を細かくラベル付けするよりも効果的である傾向がある。
• このアプローチは、現実世界のタスクで disentangled 表現を活用するための実践的ガイドラインを提供する。