[論文レビュー] Adversarial Constraint Learning for Structured Prediction

Hongyu Ren, Russell J. Stewart+3 more|arXiv (Cornell University)|May 27, 2018

Time Series Analysis and Forecasting参考文献 17被引用数 3

ひとこと要約

本論文は、敵対的訓練を用いてブラックボックスシミュレータからの出力と区別がつかない出力を生成するようにモデルを訓練することにより、構造予測のための構造的制約を暗黙的に学習する新しいフレームワークである敵対的制約学習（ACL）を提案する。この手法により、最小限のラベル付きデータで高い精度の半教師あり構造予測が可能となり、ポーズ推定、トラッキング、時系列予測の分野で、ラベル付き入力がゼロであっても、シミュレーションから学習された制約を用いて最先端の性能を達成する。

ABSTRACT

Constraint-based learning reduces the burden of collecting labels by having users specify general properties of structured outputs, such as constraints imposed by physical laws. We propose a novel framework for simultaneously learning these constraints and using them for supervision, bypassing the difficulty of using domain expertise to manually specify constraints. Learning requires a black-box simulator of structured outputs, which generates valid labels, but need not model their corresponding inputs or the input-label relationship. At training time, we constrain the model to produce outputs that cannot be distinguished from simulated labels by adversarial training. Providing our framework with a small number of labeled inputs gives rise to a new semi-supervised structured prediction model; we evaluate this model on multiple tasks --- tracking, pose estimation and time series prediction --- and find that it achieves high accuracy with only a small number of labeled inputs. In some cases, no labels are required at all.

研究の動機と目的

• 構造予測における手動で指定されたドメイン固有の制約に依存するのを減らすために、データから暗黙的に制約を学ぶこと。
• 手作業で定義するのが現実的でない高次元かつ複雑な出力構造の問題に対処すること。
• 小さなラベル付きデータセットとラベルなしデータを組み合わせ、敵対的に学習された不変性によって制約される半教師あり学習を有効にすること。
• 入力-ラベルペアを指定する必要がないため、多様な構造予測タスクに一般化可能なフレームワークを開発すること。

提案手法

• フレームワークは、生成的敵対的ネットワーク（GAN）風の構成を採用し、本質的なモデルと識別器を訓練して、実際のシミュレートされた出力とモデルが生成した出力を区別するようにする。
• 本質的なモデルは識別器をだませるように最適化され、その出力が有効なシミュレートされたラベルの分布と一致するように保証される。
• ブラックボックスシミュレータが、物理エンジンや人間によるアノテーションデータから得られる代表的なラベルサンプルを提供するが、入力-ラベル関係は必要としない。
• 小さなラベル付きデータセットにおける教師あり学習と、大きなラベルなしデータセットにおける敵対的制約学習を統合し、半教師あり構造予測モデルを構築する。
• 識別器は、与えられた出力がシミュレータ由来かモデル由来かを分類するように訓練される一方、モデルは識別器の誤分類を最大化するように訓練される。
• 明示的な数式的制約なしに、複雑な構造的不変性（例：人体ポーズの妥当性、時系列ダイナミクス）を暗黙的に捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 手作業で定義された数式が不要な状態で、敵対的訓練を用いて構造予測のための構造的制約を暗黙的に学習できるか？
• RQ2 ラベル付き入力が非常に少ない状況下で、提案手法はどの程度の性能を示すか？
• RQ3 ポーズ推定、トラッキング、時系列予測といった多様な構造予測タスクに、このフレームワークは一般化可能か？
• RQ4 低データ環境下で、従来の半教師ありおよび弱教師ありベースラインを上回る性能を敵対的制約学習が達成できるか？
• RQ5 シミュレータから制約を学習することで、不完全または部分的にラベル付きのデータ（例：温度データのみのグループ）を活用できるか？

主な発見

• マルチペルソンマルチオブジェクトトラッキング（MOT）ベンチマークにおいて、ACLは7つのラベル付きグループでのみ学習した場合、PCK@0.1スコアが0.9469を達成し、全ラベル付きデータを用いた教師あり学習（0.9622）を上回った。
• MPIIヒューマンポーズデータセットにおけるポーズ推定では、ACLが7つのラベル付きグループでPCK@0.1スコア0.8161を達成し、同じラベル付きセットを用いた教師あり学習を顕著に上回った。
• SML2010データセットにおける時系列予測では、ACLは気温の平均絶対誤差（MAE）が1.933、湿度が3.042を記録し、限られたラベル付きデータでもテストセットにおいて教師あり学習を常に上回った。
• 小さなラベル付きデータセットへの過学習を効果的に防ぎ、訓練誤差が高めであってもテスト誤差が教師ありベースラインより低かった。
• ACLは、温度データのみのグループなど、完全なラベルが欠落したデータからも学習可能であり、シミュレータが湿度サンプルを提供することで、完全ラベル監視なしに制約学習が可能になった。
• 評価されたすべてのタスクで最先端の性能を達成し、特に低データ環境下で顕著な効果を示した。暗黙的制約学習の有効性が裏付けられた。