[論文レビュー] Weakly Supervised Disentanglement with Guarantees

Rui Shu, Yining Chen+3 more|arXiv (Cornell University)|Oct 22, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 33

ひとこと要約

本論文は、分布マッチングを用いた弱教師ありのディスエンタングルメントの理論的枠組みを提供し、整合性と制限性を定義し、いくつかの監視タイプに対する保証を証明し、実証的検証を行う。

ABSTRACT

Learning disentangled representations that correspond to factors of variation in real-world data is critical to interpretable and human-controllable machine learning. Recently, concerns about the viability of learning disentangled representations in a purely unsupervised manner has spurred a shift toward the incorporation of weak supervision. However, there is currently no formalism that identifies when and how weak supervision will guarantee disentanglement. To address this issue, we provide a theoretical framework to assist in analyzing the disentanglement guarantees (or lack thereof) conferred by weak supervision when coupled with learning algorithms based on distribution matching. We empirically verify the guarantees and limitations of several weak supervision methods (restricted labeling, match-pairing, and rank-pairing), demonstrating the predictive power and usefulness of our theoretical framework.

研究の動機と目的

• 拡張空間における分布マッチングとしての弱教師あり学習の形式化。
• 相関する因子を扱うため、整合性と制限性を通じてディスエンタングルメントを定義する。
• 異なる弱い監視信号を結びつけるディスエンタングルメントの計算法を開発する。
• 3つの弱監視クラス（restricted labeling、match pairing、rank pairing）を分析し保証する。
• 標準的なディスエンタングルメントのベンチマークで理論的保証を実証的に検証する。

提案手法

• 生成プロセスを、因子 S と観測 X を用いて、生成器 g とエンコーダ e でモデル化する。
• S を I とその補集合に分割して I を観察/サブサンプリングすることにより、監督を拡張して拡張分布にする。
• 生成器の整合性を定義する: S_I は Z_I を前提としたとき S_{ obreak{I}} の変化に対して不変である。
• 生成器の制限性を定義する: Z_I の変化は S_I にのみ影響を及ぼし、S_{ obreak{ obreak{I}}} には影響しない。
• 整合性と制限性の両方（(consistency AND restrictiveness)）を Z_I に関して S_I に対してディスエンタングルメントと定義する。
• restricted labeling、match pairing、または rank pairing の下での分布マッチングが C(I; p, g, e^*) および C(I; p^*, g^*, e) を保証することを証明する。
• すべての因子のディスエンタングルメントを実現するために、学習アルゴリズムと監督信号を組み合わせた十分性の枠組みを提案する。

実験結果

リサーチクエスチョン

• RQ1 分布マッチングと組み合わせた場合、弱い監視はディスエンタングルメントに対してどのような形式的保証を提供できるか？
• RQ2 restricted labeling、match pairing、および rank pairing は個々の因子に対して、整合性および/または制限性にどのように寄与するか？
• RQ3 複数の弱監視信号を組み合わせることで完全なディスエンタングルメントを得られるか、どの条件下で？
• RQ4 エンコーダベースとジェネレータベースの視点は、ディスエンタングルメント保証を提供する際にどのように関連するか？

主な発見

• restricted labeling、match pairing、または rank pairing による弱監督は、対象因子に対して整合性を保証する。
• 整合性と制限性は（計算法を介して）組み合わせることができ、複数の弱信号から完全なディスエンタングルメントを推定できる。
• Shapes3D, dSprites, Scream-dSprites, SmallNORB, Cars3D の経験的結果は、単一因子信号を組み合わせると高いディスエンタングルメントスコアを得ることを検証している。
• 整合性と制限性は関連しているが互いに意味しないこと、しかしモデルの誘導バイアスのため実務上は強く相関することを明確にしている。
• 拡張監督が適切な整合性/制限性の性質をもたらす限り、因子間の相関がある場合でもディスエンタングルメントは実現可能である。