[論文レビュー] Inferring Generative Model Structure with Static Analysis

Paroma Varma, Bryan He+5 more|arXiv (Cornell University)|Sep 7, 2017

Multimodal Machine Learning Applications参考文献 9被引用数 36

ひとこと要約

Coral は、ヒューリスティックコードの静的解析により、共有されるドメイン固有のプリミティブを検出することで、弱教師あり学習のための生成モデル構造を推論する。これにより準線形のサンプル複雑性が実現され、データの必要量が著しく削減される。放射線画像データのラベル付けにおいて真のラベルが存在しない状況でも、F1スコアを最大3.81ポイント向上させ、完全教師ありベースラインに対して判別モデルの精度を3.07ポイント向上させる。

ABSTRACT

Obtaining enough labeled data to robustly train complex discriminative models is a major bottleneck in the machine learning pipeline. A popular solution is combining multiple sources of weak supervision using generative models. The structure of these models affects training label quality, but is difficult to learn without any ground truth labels. We instead rely on these weak supervision sources having some structure by virtue of being encoded programmatically. We present Coral, a paradigm that infers generative model structure by statically analyzing the code for these heuristics, thus reducing the data required to learn structure significantly. We prove that Coral's sample complexity scales quasilinearly with the number of heuristics and number of relations found, improving over the standard sample complexity, which is exponential in $n$ for identifying $n^{ extrm{th}}$ degree relations. Experimentally, Coral matches or outperforms traditional structure learning approaches by up to 3.81 F1 points. Using Coral to model dependencies instead of assuming independence results in better performance than a fully supervised model by 3.07 accuracy points when heuristics are used to label radiology data without ground truth labels.

研究の動機と目的

• 弱教師あり学習ソースのための生成モデル構造学習における高いデータコストを低減すること。
• プログラム的ヒューリスティクスの共有入力を活用することで、構造学習に必要なラベル付きデータへの依存度を低減すること。
• 手動での指定なしに、ヒューリスティクス間の複雑で高次の依存関係を効率的に推論できること。
• リソースが限られた環境下で、生成モデルが割り当てる確率的トレーニングラベルの精度を向上させること。
• ヒューリスティクスコードの静的解析が、従来の構造学習よりも精度と効率の両面で優れていることを実証すること。

提案手法

• Coral は、ヒューリスティクス関数およびドメイン固有プリミティブのソースコードに対して静的解析を実行し、共有入力を同定する。
• 同じプリミティブを処理するヒューリスティクスをグループ化することで依存関係構造を構築し、潜在的な真のラベルを含む要因グラフを形成する。
• ヒューリスティクスのプログラム的性質を活用して、ラベル付きデータを必要とせずに関係を推論し、サンプル複雑性を準線形スケーリングにまで低減する。
• ヒューリスティクスの正確さを推定し、真のラベルを推論する生成モデルを用いて、ヒューリスティクスとプリミティブの同時分布をモデル化する。
• ヒューリスティクスが共有プリミティブと真のクラスラベルに条件付きで依存する要因グラフ表現を採用する。
• データから依存関係を学習するのではなく、コード解析によって事前に依存関係を定義することで、指数的サンプル複雑性を回避する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが存在しない状況でも、ヒューリスティクスコードの静的解析を用いて生成モデル構造を推論できるか？
• RQ2 データ駆動型構造学習と比較して、コード解析による依存関係の推論はサンプル複雑性を低減するか？
• RQ3 真のラベルが存在しない状況でも、Coral はラベル品質と下流の判別モデルの性能を向上させられるか？
• RQ4 弱教師あり学習下で、F1スコアと精度の観点から、Coral の性能は従来の構造学習と比べてどうか？
• RQ5 標準的手法が見逃す高次のヒューリスティクス間の依存関係を、Coral はどの程度正確に捉えられるか？

主な発見

• Coral は、ヒューリスティクスと関係の数に対して準線形スケーリングのサンプル複雑性を実現し、従来のアプローチの指数的スケーリングを上回る。
• 実験的評価において、Coral は従来の構造学習手法と比較して最大3.81ポイントのF1スコア向上を達成した。
• 真のラベルが存在しない放射線画像データに適用した場合、Coral を用いたトレーニングデータは、判別モデルの精度を3.07ポイント向上させた。
• 画像分類タスクにおいて、位置情報とオブジェクトラベルのみを用いた6つのヒューリスティクスでも、Visual Genome データセットで完全教師ありモデルのF1スコアと0.74ポイント以内の差でモデルを学習できた。
• Coral の静的解析は、依存関係の度数にかかわらず定数時間で依存関係を同定でき、高次の関係の効率的検出を可能にする。
• リソースが限られた状況下でも、弱教師ありソース間の複雑な依存関係を効果的にモデル化できることから、Coral は完全教師ありベースラインを上回る性能を示した。