[論文レビュー] An Adversarial Regularisation for Semi-Supervised Training of Structured Output Neural Networks

Mateusz Koziński, Loïc Simon+1 more|arXiv (Cornell University)|Feb 8, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 19

ひとこと要約

本論文では、構造的出力ニューラルネットワークの半教師あり学習のための敵対的正則化手法を提案する。ここで、識別器はラベル付きデータとラベルなしデータの出力を区別し、一般化性能の向上に寄与する誤差信号を提供する。この手法は、画像セマンティックセグメンテーションタスクにおいて、ラベル付きデータを半分に減らしても、完全に教師あり学習と同等の性能を達成する。

ABSTRACT

We propose a method for semi-supervised training of structured-output neural networks. Inspired by the framework of Generative Adversarial Networks (GAN), we train a discriminator network to capture the notion of a quality of network output. To this end, we leverage the qualitative difference between outputs obtained on the labelled training data and unannotated data. We then use the discriminator as a source of error signal for unlabelled data. This effectively boosts the performance of a network on a held out test set. Initial experiments in image segmentation demonstrate that the proposed framework enables achieving the same network performance as in a fully supervised scenario, while using two times less annotations.

研究の動機と目的

• 構造的出力学習タスク（例：セマンティックセグメンテーション）における大規模ラベル付きデータの必要性を低減すること。
• 主ネットワークのアーキテクチャ的制約なしに、ラベルなしデータを活用する正則化技術を開発すること。
• ラベル付きデータとラベルなしデータの出力を識別する識別器を用いて、一般化性能を向上させること。
• 特徴抽出部に依存しない、任意の構造的出力アーキテクチャに適用可能な効果的な半教師あり学習を可能にすること。

提案手法

• ラベル付きデータおよびラベルなしデータの両方に対して、構造的出力を生成するセグメンテーションネットワークをエンドツーエンドで訓練する。
• ネットワーク出力がラベル付きデータ由来かラベルなしデータ由来かを分類する二値識別器を訓練する。
• ラベルなし入力に関する識別器の負の勾配を、セグメンテーションネットワークの誤差信号として使用する。
• 主ネットワークの更新ごとに1回（k=1）だけ識別器を更新し、交差エントロピー損失を用いる。
• 両方のネットワークに対して、モーメンタム（0.9）と重み減衰（0.001）を用いた確率的勾配降下法を適用する。
• ランダムな画像シフト（0–32ピクセル）によるデータ拡張を実施し、バリデーションに基づくモデル選択を一切行わず、最終的なモデル重みで評価する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク出力に対して識別器を敵対的に訓練することで、半教師あり構造的出力学習における一般化性能が向上するか？
• RQ2 ラベルなしデータを活用することで、性能を維持しつつ、ラベル付きアノテーションの必要数をどの程度削減できるか？
• RQ3 提案手法の敵対的正則化は、低データ環境下で標準的な重み減衰と比較して、どの程度優れているか？
• RQ4 この手法はアーキテクチャに依存せず、特徴抽出部に依存しない構造的出力ネットワークのエンドツーエンド学習に適用可能か？

主な発見

• 提案手法はテストセットで49.3%の交差和集合（IoU）を達成し、元の研究で報告されたベースラインの47.7%を上回った。
• ラベル付きデータを1/4に減らしても、ラベル付きデータを2倍使用した完全に教師ありベースラインの性能に達した。
• ラベル付きデータを1/8にした場合、重み減衰を用いたベースラインより3ポイントの性能向上を示し、追加的利点を示した。
• 半分のラベル付きデータを使用しても、提案手法は完全に教師ありベースラインを常に上回り、同等の性能を得るためのアノテーションコストを2倍に削減できることが示された。