[論文レビュー] Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses

Jiaao Chen, Yuwei Wu+1 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 19被引用数 11

ひとこと要約

本稿では、バックトランスレーションに基づくデータ拡張と一貫性正則化を用いた自己教師付き学習を組み合わせることで、低リソース環境下での対話的感情的反応（感情の露呈や社会的支援など）の分類を向上させる半教師付きテキスト分類フレームワークSMDAを提案する。SMDAは6つの二値分類タスクにおいてBERTおよびXLNetを上回り、Emo_suppタスクで最高76.2%のマクロF1を達成した。これは、未ラベルの会話データを用いたデータ拡張と半教師付き学習を組み合わせることの有効性を示している。

ABSTRACT

We present semi-supervised models with data augmentation (SMDA), a semi-supervised text classification system to classify interactive affective responses. SMDA utilizes recent transformer-based models to encode each sentence and employs back translation techniques to paraphrase given sentences as augmented data. For labeled sentences, we performed data augmentations to uniform the label distributions and computed supervised loss during training process. For unlabeled sentences, we explored self-training by regarding low-entropy predictions over unlabeled sentences as pseudo labels, assuming high-confidence predictions as labeled data for training. We further introduced consistency regularization as unsupervised loss after data augmentations on unlabeled data, based on the assumption that the model should predict similar class distributions with original unlabeled sentences as input and augmented sentences as input. Via a set of experiments, we demonstrated that our system outperformed baseline models in terms of F1-score and accuracy.

研究の動機と目的

• 対話的感情的反応の分類において、ラベル付きデータが限られる課題に対処すること。
• 豊富な未ラベル付き会話データを活用した半教師付き学習により、モデルの汎化性能と性能を向上させること。
• 特にバックトランスレーションを用いたデータ拡張が、低リソース環境下でのラベル付きおよび未ラベル付きデータの品質向上に寄与するかを検証すること。
• 自己学習、エントロピー最小化、一貫性正則化を統合することで、未ラベルデータを効果的に活用する手法を構築すること。
• OffMyChestデータセットを用いて6つの感情的反応分類タスクにおける提案手法の有効性を評価すること。

提案手法

• SMDAは入力文を表現するためにXLNetをベースとするトランスフォーマーエンコーダーを用い、ラベル付きおよび未ラベル付き文の両方のデータ拡張にバックトランスレーションを適用する。
• ラベル付きデータに対しては、データ拡張を用いてクラス分布のバランスを調整し、教師あり損失を計算する。
• 未ラベル付きデータに対しては、自己学習により高信頼度のモデル予測を偽ラベルとして扱い、予測と偽ラベル間のKLダイバージェンスを最小化する。
• エントロピー最小化を適用して、未ラベル付きサンプルの出力における不確実性を低減させ、予測を信頼できるものにすることを促進する。
• 一貫性正則化により、元の入力と拡張された未ラベル付き入力の出力分布間のKLダイバージェンスを最小化することで、類似した予測を強制する。
• 全体の目的関数は、教師あり損失と重み付き教師なし損失（γは学習中に増加）を組み合わせており、ラベル付きと未ラベル付き学習のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーションに基づくデータ拡張は、低リソース環境下での感情的反応分類の性能向上に寄与するか？
• RQ2 未ラベル付き会話データに対して、偽ラベルを用いた自己学習は感情的反応分類においてどの程度有効か？
• RQ3 元の入力と拡張された入力の間の一貫性正則化は、モデルのロバストネスと汎化性能を向上させるか？
• RQ4 データ拡張と半教師付き学習を組み合わせることで、BERT や XLNet といった完全教師ありベースラインを上回る性能が得られるか？
• RQ5 自己学習、エントロピー最小化、一貫性正則化といった異なるモジュールが、OffMyChestデータセットにおける性能向上にどの程度寄与しているか？

主な発見

• SMDAはEmo_suppタスクで76.2%の最高マクロF1スコアを達成し、XLNet（73.8%）およびBERT（73.8%）を上回った。
• Info_discタスクでは、SMDAは74.3%の正解率と71.0%のF1スコアを達成し、XLNet（72.2%正解率、69.3% F1）を上回った。
• Supportタスクでは、SMDAは83.5%の正解率と77.7%のF1スコアを達成し、XLNetの83.4%および77.3%をわずかに上回った。
• Gen_suppタスクでは、SMDAは91.7%の正解率と63.7%のF1スコアを達成し、XLNetの92.7%および65.0%をわずかに下回ったが、依然として高い性能を示した。
• SMDAは、XLNetベースラインと比較して、6つの二値分類タスクすべてでF1スコアを向上させ、半教師付き学習の有効性を実証した。
• 損失関数のアブレーション解析から、自己学習、エントロピー最小化、一貫性正則化の組み合わせが、個々のモジュールよりも優れた性能をもたらすことが示された。