[論文レビュー] A Survey of Inductive Biases for Factorial Representation-Learning

Karl Ridgeway|arXiv (Cornell University)|Dec 15, 2016

Bayesian Modeling and Causal Inference参考文献 24被引用数 37

ひとこと要約

本調査は、因子的表現—データのコンactで、分離可能で解釈可能な要因の分解—を学習するのを支援する誘導的バイアスを特定・分類する。これらは、不教師付き（例：不変性、分布、組み合わせ）および教師付き（例：制約タイプ、教師強度）に分類され、より強いバイアスが、特に教師付き学習と自己符号化器のようなアーキテクチャ的誘導的バイアスを組み合わせた場合、より優れた要因分解をもたらすことを示している。

ABSTRACT

With the resurgence of interest in neural networks, representation learning has re-emerged as a central focus in artificial intelligence. Representation learning refers to the discovery of useful encodings of data that make domain-relevant information explicit. Factorial representations identify underlying independent causal factors of variation in data. A factorial representation is compact and faithful, makes the causal factors explicit, and facilitates human interpretation of data. Factorial representations support a variety of applications, including the generation of novel examples, indexing and search, novelty detection, and transfer learning. This article surveys various constraints that encourage a learning algorithm to discover factorial representations. I dichotomize the constraints in terms of unsupervised and supervised inductive bias. Unsupervised inductive biases exploit assumptions about the environment, such as the statistical distribution of factor coefficients, assumptions about the perturbations a factor should be invariant to (e.g. a representation of an object can be invariant to rotation, translation or scaling), and assumptions about how factors are combined to synthesize an observation. Supervised inductive biases are constraints on the representations based on additional information connected to observations. Supervisory labels come in variety of types, which vary in how strongly they constrain the representation, how many factors are labeled, how many observations are labeled, and whether or not we know the associations between the constraints and the factors they are related to. This survey brings together a wide variety of models that all touch on the problem of learning factorial representations and lays out a framework for comparing these models based on the strengths of the underlying supervised and unsupervised inductive biases.

研究の動機と目的

• ニューラルネットワークが因子的表現—変動要因が明示的かつ独立して符号号化された表現—を学習するのを促す誘導的バイアスを特定・体系化すること。
• 表現学習における不教師付き誘導的バイアス（例：変換不変性、スパarsity、多重線形結合）と教師付きバイアス（例：ラベル付き属性、三重項制約）を区別すること。
• 異なる誘導的バイアスの組み合わせと強度が、学習された表現の分離性と解釈可能性に与える影響を評価すること。
• それらの背後にある誘導的バイアスと、因子的要因分解を達成する有効性に基づいて、既存モデルを比較評価するフレームワークを提供すること。
• データバイアス、非因子的環境、誘導的バイアスの新規組み合わせといった、未解決の研究課題を特定すること。

提案手法

• 誘導的バイアスを不教師付き（分布、不変性、組み合わせ）および教師付き（制約タイプ、教師強度）のクラスに分類する。
• 要因の分布に関する仮定（例：ガウス分布、スパarsity）が表現学習に与える影響を分析する。
• ISA（独立部分空間分析）や協調的ベクトル量子化といった、不変性に基づくバイアスを検討し、変換不変特徴を学習する。
• 多重線形モデル、機能的部品、階層層といった組み合わせバイアスを検討し、観測値における要因の結合方法をモデル化する。
• ラベル付き要因、三重項損失などの制約タイプと、それらが分離性に与える影響を評価し、SSVAE、disBM、シアンエイズネットワークを事例として用いる。
• 自己符号化器と多重線形またはスパarsityバイアスを組み合わせたアーキテクチャ拡張を提案し、効率性と要因分解の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 変換不変性やスパarsityといった、異なる不教師付き誘導的バイアスは、どのように分離可能な表現の学習に寄与するか？
• RQ2 ラベル付き属性や三重項損失といった教師付き制約の、学習された表現における要因分解度への相対的影響は何か？
• RQ3 より強い誘導的バイアスは、一貫してより良い分離性と表現学習におけるクロスオーバー効果をもたらすか？
• RQ4 スパarsity＋不変性、多重線形＋自己符号化器といった、誘導的バイアスの組み合わせは、表現品質と効率性をどのように向上させるか？
• RQ5 データセットバイアスや非因子的データ構造は、因子的表現を学習する能力にどのような役割を果たすか？

主な発見

• 特に教師付き学習と組み合わせた場合、より強い誘導的バイアスは、SSVAE や disBM のようなモデルにおけるクロスオーバー効果によって、より良い分離性と明確な要因分解をもたらす。
• 部分的にラベル付けされたデータセット（例：SSVAE、disBM）を用いるモデルは、要因分解の証拠が強く、わずかな教師付き情報でも分離性の向上に顕著な効果を示す。
• mm t-SNE モデルは、強い距離制約を使用しているが、高次元で非因子的なデータセットにおける要因相関の高さと要因に依存しない制約のため、弱い要因分解を示している。
• 自己符号化器と組み合わせた不教師付きバイアス（例：多重線形結合）を用いることで、モデルサイズを削減し、不変性を向上させることができ、アーキテクチャの相乗効果が要因分解を強化することが示唆される。
• プーリングスパarsityとISA、非負性と多重線形モデルの組み合わせといった、新たなバイアスの組み合わせは、より効率的で解釈可能な表現を実現する有望な道筋を提供する。
• 要因に依存しない制約は、要因の識別を事前に知らない状況でも分離可能な表現を学習する可能性を秘めており、Karaletsos などのモデルに拡張することで、特にその可能性が高まる。