[論文レビュー] Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization

Weijia Zhang, Xuanhui Zhang+2 more|arXiv (Cornell University)|Feb 25, 2022

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

本稿では、袋レベルの教師信号からインスタンス固有の因果要因を特定するため、潜在表現を条件付き非因数分解型指数型分布族としてモデル化することで、マルチインスタンス因果表現学習フレームワークCausalMILを提案する。因果的要因とごまかし要因を分離することで、合成データおよび実世界のデータセットにおいて、インスタンスラベル予測と分布外一般化の両面で最先端の性能を達成し、既存の深層MIL手法を著しく上回る。

ABSTRACT

Multi-instance learning (MIL) deals with objects represented as bags of instances and can predict instance labels from bag-level supervision. However, significant performance gaps exist between instance-level MIL algorithms and supervised learners since the instance labels are unavailable in MIL. Most existing MIL algorithms tackle the problem by treating multi-instance bags as harmful ambiguities and predicting instance labels by reducing the supervision inexactness. This work studies MIL from a new perspective by considering bags as auxiliary information, and utilize it to identify instance-level causal representations from bag-level weak supervision. We propose the CausalMIL algorithm, which not only excels at instance label prediction but also provides robustness to distribution change by synergistically integrating MIL with identifiable variational autoencoder. Our approach is based on a practical and general assumption: the prior distribution over the instance latent representations belongs to the non-factorized exponential family conditioning on the multi-instance bags. Experiments on synthetic and real-world datasets demonstrate that our approach significantly outperforms various baselines on instance label prediction and out-of-distribution generalization tasks.

研究の動機と目的

• 袋レベルの教師信号から意味的に意味のある因果的要因を同定することで、弱教師付きMILと完全教師付き学習の性能ギャップを是正すること。
• 袋に由来するごまかし要因が学習を歪めるのを防ぐために、因果的表現をごまかし要因から分離することで、インスタンスラベル予測を改善すること。
• 予測モデルがインスタンス固有の因果的要因にのみ依存するようにすることで、分布外一般化を向上させること。
• 袋に条件づけられた実用的な非因数分解型指数型分布事前分布のもとで、因果的表現の同定可能性を確立すること。
• 強力な表現学習を実現するため、マルチインスタンス学習と同定可能な変分オートエンコーダーを統合する統一フレームワークを提供すること。

提案手法

• CausalMILは、各インスタンスを、インスタンス固有の因果的要因 $\bm{z}^c_{ij}$ と袋に由来する非因果的要因 $\bm{z}^e_{ij}$ の2つの潜在要因から生成されるとモデル化し、袋ラベルをインスタンスラベルの結果として扱う。
• 袋の条件付きで、$\bm{z}^c_{ij}$ に非因数分解型指数型分布族の条件付き事前分布を適用する変分オートエンコーダーを採用することで、因果的要因の同定可能性を実現する。
• インスタンス固有の要因 $\bm{z}^c_{ij}$ がインスタンスラベルを予測可能であるようにし、$\bm{z}^e_{ij}$ との依存度を最小化するようにする、分離目的関数を用いる。
• 鍵となる要素は、袋レベルの教師信号を用いて分離を誘導することであり、これにより予測に因果的要因のみが影響するようになり、分布シフトに対するロバスト性が向上する。
• MILと同定可能なVAEを統合することで、袋レベルの情報の豊富さを活かし、意味のある因果的表現を特定・分離する。
• 再構成、分離、予測性能のバランスを取る微分可能目的関数を用いて、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 マルチインスタンスの袋をノイズではなく、インスタンスレベルの因果的表現を同定するための補助情報として活用できるか？
• RQ2 弱教師付き条件下で、因果的要因とごまかし潜在要因を分離することで、インスタンスラベル予測の性能が向上するか？
• RQ3 袋レベルのラベルから得られる因果的表現学習が、弱教師付き設定における分布外一般化を向上させられるか？
• RQ4 袋に条件づけられた非因数分解型指数型分布事前分布を用いることで、MILにおける因果的要因の同定可能な分離が可能か？
• RQ5 CausalMILは、分布内および分布外性能の両面で、既存の深層MIL手法と比較してどのように差をつけるか？

主な発見

• CausalMILは、半合成および実世界のデータセットの両方で、インスタンスラベル予測においてSOTAの深層MILアルゴリズムを著しく上回る性能を達成した。
• モデルは、袋に由来するごまかし要因からの依存を減らすことで、インスタンス固有の因果的要因にのみ依存するため、分布外一般化が優れている。
• 実験的結果から、$\bm{z}^c_{ij}$ を $\bm{z}^e_{ij}$ から分離することで、同定されないモデルと比較してよりロバストで一般化可能な表現が得られることを示した。
• 条件付き非因数分解型指数型分布事前分布の使用により、因果的要因の同定可能な学習が可能となり、本手法の成功の鍵要因となった。
• CausalMILは、ノイズや汚染された袋ラベルに対しても強い性能を示し、教師信号の不正確さに対しても内在的なロバスト性を示した。
• 定性的な分析から、推論された $\bm{z}^c_{ij}$ 要因が、画像再構成や分離品質の観点から意味的に意味のある分離表現を捉えていることが確認された。