[論文レビュー] Learning to Compose Domain-Specific Transformations for Data Augmentation

Alexander Ratner, Henry R. Ehrenberg+3 more|arXiv (Cornell University)|Sep 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 5被引用数 183

ひとこと要約

この論文は、GAN様の目的と強化学習で訓練された生成シーケンスモデルを用いて、データ拡張のための domain-specific, ユーザー提供の変換関数を自動的に構成し、画像およびテキストタスク全体でエンドモデルの性能を向上させる。

ABSTRACT

Data augmentation is a ubiquitous technique for increasing the size of labeled training sets by leveraging task-specific data transformations that preserve class labels. While it is often easy for domain experts to specify individual transformations, constructing and tuning the more sophisticated compositions typically needed to achieve state-of-the-art results is a time-consuming manual task in practice. We propose a method for automating this process by learning a generative sequence model over user-specified transformation functions using a generative adversarial approach. Our method can make use of arbitrary, non-deterministic transformation functions, is robust to misspecified user input, and is trained on unlabeled data. The learned transformation model can then be used to perform data augmentation for any end discriminative model. In our experiments, we show the efficacy of our approach on both image and text datasets, achieving improvements of 4.0 accuracy points on CIFAR-10, 1.4 F1 points on the ACE relation extraction task, and 3.4 accuracy points when using domain-specific transformation operations on a medical imaging dataset as compared to standard heuristic augmentation approaches.

研究の動機と目的

• 限られたラベル付きデータの下でドメイン不変性を活用する方法としてデータ拡張を動機づける。
• ユーザー提供で、非決定論的である可能性のある変換関数（TFs）を組み合わせる生成シーケンスモデルを提案する。
• すべてのTFがクラスラベルを保持するという仮定を緩和し、ラベルなしデータからの学習を可能にする。
• GANに着想を得た目的を用いて、変換後データをヌル分布へ写す写像を最小化しつつ、多様で有用な変換を促進する。
• 画像およびテキストの領域を横断して、堅牢な性能向上を示す。

提案手法

• データ点に作用する漸進的でユーザー指定のTFのシーケンスとして拡張を表現する。
• TFをブラックボックスの非微分可能な関数とみなし、シーケンスを生成器G_thetaの出力としてモデル化する。
• G_thetaを、変換データと分布内データを識別する判別器D_emptysetを用いたGAN風の目的で訓練する。
• 退化的または反復的なTFシーケンスを抑制する多様性目的を組み込む。
• 微分不可能なTFや確率的変換に対処するため、方策勾配を用いた強化学習として学習を定式化する。
• 2つの生成器アーキテクチャを提供する：平均場独立モデルとLSTMベースの状態を持つシーケンスモデル。

実験結果

リサーチクエスチョン

• RQ1 ドメインの専門家はTFを介して不変性をどのようにエンコードし、データ拡張の効果的なTFシーケンスをモデルが学習できるようにするか。
• RQ2 ラベルなしデータを用いて、分布外データを生み出さないTFシーケンスの生成を学習できるか。
• RQ3 TFシーケンス（特に逐次・依存構造を持つもの）をモデリングすることは、単純なヒューリスティック拡張よりもタスク横断で性能を向上させるか。
• RQ4 実務で誤指定や対立するTFに対してこのアプローチはどれだけ頑健か。

主な発見

• 本手法は、MNIST、CIFAR-10、ACE関係抽出、DDSM乳房X線画像のタスクにおいてヒューリスティック拡張を上回る改善を示す。
• LSTMベースのTFシーケンスモデルは、一般に平均場独立モデルを上回り、逐次構造の価値を強調する。
• CIFAR-10（10%サブサンプル）では、ヒューリスティック拡張に対する4.0ポイントの精度向上を達成し、セミ教師付きGANと競合する。
• ACEで、ヒューリスティック拡張を上回る1.4ポイントのF1向上を達成。
• DDSM（乳腺診断）では、領域特有のセグメンテーションベースTFを含めて改善が見られ、LSTMモデルが最も高いゲインを達成。
• 誤指定されたTFに対しても頑健であり、学習されたTF頻度が効果の薄い演算子を回避する。