[論文レビュー] Desiderata for Representation Learning: A Causal Perspective

Zhaoran Wang, Michael I. Jordan|arXiv (Cornell University)|Sep 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 95被引用数 17

ひとこと要約

本稿では、反事後的量と観察可能な帰結を用いて、表現学習における重要な望ましい性質—非不自然性、効率性、分離性—を形式化するための因果フレームワークを提案する。確率的必要性/十分性（PN/PS）やサポートの独立性スコア（IOSS）といった計算可能な指標を導入し、真の特徴量が入手できない単一の観察データセットからの表現の評価と最適化を可能にする。

ABSTRACT

Representation learning constructs low-dimensional representations to summarize essential features of high-dimensional data. This learning problem is often approached by describing various desiderata associated with learned representations; e.g., that they be non-spurious, efficient, or disentangled. It can be challenging, however, to turn these intuitive desiderata into formal criteria that can be measured and enhanced based on observed data. In this paper, we take a causal perspective on representation learning, formalizing non-spuriousness and efficiency (in supervised representation learning) and disentanglement (in unsupervised representation learning) using counterfactual quantities and observable consequences of causal assertions. This yields computable metrics that can be used to assess the degree to which representations satisfy the desiderata of interest and learn non-spurious and disentangled representations from single observational datasets.

研究の動機と目的

• 因果推論の原則を用いて、非不自然性、効率性、分離性といった表現学習における直感的な望ましい性質を形式化すること。
• 手動でラベル付けされた特徴量や干渉データにアクセスできない状況での表現の評価と最適化の課題に対処すること。
• 因果理論に基づいた計算可能で観察可能な指標を整備し、学習済み表現の質を評価すること。
• 干渉や強い構造的仮定を必要とせずに、これらの指標を用いて特定の望ましい性質を標的とする表現学習アルゴリズムを可能にすること。
• 分離性と情報性が対立するのではなく、同時に達成可能であることを示すこと。

提案手法

• ピアールの因果確率（PNとPS）を用いて、教師あり表現学習における非不自然性と効率性を形式化する。
• 観察データからPNとPSの観察可能な帰結を導出し、干渉を伴わずに推定可能であることを保証する。
• ラベルの必要かつ十分な原因である表現を学習するためのCAUSAL-REPアルゴリズムを提案し、PNとPSを最適化目的として用いる。
• 表現の次元間での因果的影響の不在として、正則性条件の下での独立したサポートを用いて因果的分離性を形式化する。
• 観察可能なデータを用いて因果的分離性を評価するための計算可能な指標として、サポートの独立性スコア（IOSS）を導入する。
• VAEなどの教師なし設定において、分離された表現を促進するIOSSペナルティを備えた表現学習アルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 表現学習における非不自然性は、因果的概念を用いてどのように形式化され、測定可能か？
• RQ2 教師あり表現学習において、表現の効率性と非不自然性を定量化する観察可能な指標は何か？
• RQ3 教師なし表現学習における分離性は、どのように因果的性質として形式化できるか？
• RQ4 表現の次元間でのサポートの独立性は、因果的分離性の信頼できる代理指標として機能するか？
• RQ5 表現学習において分離性と情報性の間にトレードオフがあるか？ 両者を同時に達成可能か？

主な発見

• 弱い条件下でも、確率的必要性（PN）と確率的十分性（PS）は観察データから同定可能であり、効率性と非不自然性の直接測定が可能になる。
• CAUSAL-REPアルゴリズムは、ラベルの必要かつ十分な原因である表現を効果的に学習でき、分布シフトに対して高い頑健性を示す。
• IOSS指標は因果的分離性を効果的に捉えており、干渉に対する頑健性とも相関を示し、正則化が強くなるほど上昇する。
• 実験では、IOSS正則化を強化することで分離性が向上するが、モデルの適合度や対数尤度は劣化せず、情報性との顕著なトレードオフがないことが示された。
• IOSSに基づく手法は、既存の教師なし分離性学習アルゴリズムを上回り、因果的分離性を持つ表現をより効果的に生成する。
• 理論的結果により、独立したサポートを持つ表現の同定可能性が確立され、IOSSを有効な学習目的として用いる根拠が得られた。