[論文レビュー] Learning Data Manipulation for Augmentation and Weighting

Zhiting Hu, Bowen Tan+3 more|arXiv (Cornell University)|Oct 28, 2019

Machine Learning and Data Classification被引用数 71

ひとこと要約

本論文は、データ報酬をパラメータ化し、データ操作（拡張と重み付け）を学習する統一された勾配ベースの枠組みを提案し、低データおよび不均衡な設定においてテキストおよび画像タスクでベースラインを上回る。

ABSTRACT

Manipulating data, such as weighting data examples or augmenting with new instances, has been increasingly used to improve model training. Previous work has studied various rule- or learning-based approaches designed for specific types of data manipulation. In this work, we propose a new method that supports learning different manipulation schemes with the same gradient-based algorithm. Our approach builds upon a recent connection of supervised learning and reinforcement learning (RL), and adapts an off-the-shelf reward learning algorithm from RL for joint data manipulation learning and model training. Different parameterization of the "data reward" function instantiates different manipulation schemes. We showcase data augmentation that learns a text transformation network, and data weighting that dynamically adapts the data sample importance. Experiments show the resulting algorithms significantly improve the image and text classification performance in low data regime and class-imbalance problems.

研究の動機と目的

• 低データおよび不均衡な設定で学習を改善する自動化されたデータ操作の動機付け。
• データ操作をパラメータ化する統一的な報酬ベースの枠組みを提案。
• テキスト拡張とデータ重み付けの実装例を示す。
• テキストおよび画像タスクで強力なベースラインを上回る実証的な改善を示す。
• 他の操作スキームへ拡張する柔軟性を強調する。

提案手法

• データ操作をデータ監修学習目的を変更するパラメータ化報酬 R_phi(x,y|D)として定式化する。
• モデルパラメータ theta と操作パラメータ phi を同時に更新する EM様式の勾配ベース報酬学習を使用する。
• ラベル条件付きで単語を置換するテキスト拡張ネットワークを学習してデータを拡張する。
• トレーニング例に学習済みの各サンプル重み phi を割り当ててデータ重みを学習する。
• 最終的な外部性能を最大化するように検証セット上で操作パラメータを最適化する。
• θ（Eq. 7）と φ（Eq. 8）を交互に更新する統一アルゴリズム（Algorithm 1）を提供する。

実験結果

リサーチクエスチョン

• RQ1 報酬パラメータ化を通じて複数のデータ操作スキームを単一の勾配ベースフレームワークでサポートできるか。
• RQ2 学習済みの拡張と重み付けは、テキストおよび画像分類の低データ・不均衡設定で性能を改善するか。
• RQ3 操作は実際に大規模事前学習モデル（例: BERT, ResNet）とどのように相互作用するか。
• RQ4 拡張と重み付けの相対的利点は、タスクやデータ状況ごとにどう異なるか。

主な発見

Model	SST-5 (40+2)	IMDB (40+5)	TREC (40+5)
ベースモデル: BERT	33.32±4.04	63.55±5.35	88.25±2.81
ベースモデル + 検証データ	35.86±3.03	63.65±3.32	88.42±4.90
拡張: 同義語	32.45±4.59	62.68±3.94	88.26±2.76
固定拡張 [49]	34.84±2.76	63.65±3.21	88.28±4.50
我々の手法: 微調整済み拡張	37.03±2.05	65.62±3.32	89.15±2.41

• パラメータ化された報酬を介したデータ操作は、ベースモデルおよび従来の操作手法よりも精度を大幅に向上させる。
• 低データのテキストタスクにおいて、微調整されたテキスト拡張は固定拡張や同義語ベースのアプローチを一貫して上回る。
• データ重み付けはベースラインを上回り、特に深刻なクラス不均衡下で最近の再重み付け手法を上回る。
• 拡張は低データシナリオで効果が高くなる傾向があり、重み付けはラベル不均衡をより効果的に改善する。
• 統一されたフレームワークは SST-5, IMDB, TREC（テキスト）および CIFAR-10 with ResNet-34（画像）で利益を得る。