[論文レビュー] E-Stitchup: Data Augmentation for Pre-Trained Embeddings

C. Wolfe, Keld T. Lundgaard|arXiv (Cornell University)|Nov 28, 2019

Video Analysis and Summarization参考文献 30被引用数 6

ひとこと要約

本稿では、重み付き補間を用いて事前学習された埋め込み表現を組み合わせ、モデルのキャリブレーション、分類精度、分布外（OOD）検出を向上させるデータ拡張手法E-Stitchupを提案する。事前学習モデルの微調整なしに、より良い性能と高速な収束を達成する。

ABSTRACT

In this work, we propose data augmentation methods for embeddings from pre-trained deep learning models that take a weighted combination of a pair of input embeddings, as inspired by Mixup, and combine such augmentation with extra label softening. These methods are shown to significantly increase classification accuracy, reduce training time, and improve confidence calibration of a downstream model that is trained with them. As a result of such improved confidence calibration, the model output can be more intuitively interpreted and used to accurately identify out-of-distribution data by applying an appropriate confidence threshold to model predictions. The identified out-of-distribution data can then be prioritized for labeling, thus focusing labeling effort on data that is more likely to boost model performance. These findings, we believe, lay a solid foundation for improving the classification performance and calibration of models that use pre-trained embeddings as input and provide several benefits that prove extremely useful in a production-level deep learning system.

研究の動機と目的

• 事前学習された埋め込み表現を用いた深層学習モデルのキャリブレーション不足と過信問題を解消すること。
• 事前学習された埋め込み表現上で学習される下流モデルの一般化性能とロバスト性を向上させること。
• キャリブレーションされた信頼度スコアを用いて、分布外（OOD）データの検出を可能にすること。
• トレーニング時間を短縮しつつ、分類性能を維持または向上させること。
• 多様なモダリティ（例：視覚、NLP）にわたって、事前学習された埋め込み表現に対して即座に適用可能なプラグアンドプレイな拡張手法を提供すること。

提案手法

• 事前学習モデルからの2つの入力埋め込みを重み付き平均化するE-MixupおよびE-Stitchupの変種を提案する。
• 同じ補間係数を埋め込み入力とその対応するワンホットラベルの両方に適用する。
• ラベルのなめらかさを適用するためのSoft E-Stitchupを導入し、ワンホットラベルを滑らかな分布に置き換える。
• 埋め込みとラベルの両方に同じ補間係数を用いることで、拡張データにおける一貫性を維持する。
• ヒューリスティックに基づく信頼度しきい値を用いて、キャリブレーションされたモデル出力から分布外サンプルを同定する。
• 事前学習されたバックボーンモデルの微調整なしに、拡張された埋め込み表現上で下流モデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 事前学習された埋め込み表現を用いたモデルにおいて、埋め込みレベルのデータ拡張は、キャリブレーションと分類精度の向上に寄与するか？
• RQ2 標準的なトレーニングと比較して、埋め込みレベルの拡張は収束速度とOOD検出性能においてどのように異なるか？
• RQ3 ラベルのなめらかさを埋め込み拡張と組み合わせた場合、キャリブレーションはどの程度向上するか？
• RQ4 提案手法は、事前学習モデルを変更せずに、さまざまなモダリティ（例：視覚、NLP）に効果的に適用可能か？
• RQ5 キャリブレーションされた信頼度スコアを用いることで、アクティブラーニングにおける分布外データの信頼性の高い同定が可能か？

主な発見

• E-Stitchupはモデルのキャリブレーションを顕著に改善し、信頼度スコアが予測精度を的確に反映するようにする。
• E-Stitchupを用いてトレーニングされたモデルは、ベースラインモデルと比較して、インディストリビューションおよび「なし」カテゴリの精度が向上する。
• 本手法によりトレーニング時間が約半分に短縮され、コントロールと比較して50％未満のエポック数で収束する。
• E-Stitchupは、低信頼度予測のしきい値ベースの同定を可能にすることで、効果的な分布外検出を実現する。
• E-Stitchupと組み合わせたラベルのなめらかさは、ワンホットラベルと比較して過信をさらに低減し、キャリブレーションを強化する。
• 提案された拡張手法は、さまざまなモダリティで有効であり、事前学習された埋め込みモデルの微調整を一切必要としない。