[論文レビュー] Data Cleansing for Models Trained with SGD

Satoshi Hara, Atsushi Nitanda+1 more|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Data Classification被引用数 14

ひとこと要約

この論文は、確率的勾配降下法（SGD）で訓練されたモデル向けに、ドメインに依存しないデータクリーニング手法を提案する。この手法は、SGDのステップを逆再生することで、影響力のある訓練インスタンスを特定し、中間モデルを活用する。このアプローチにより、専門知識がなくても非エキスパートがモデルの精度を向上させることができ、MNISTおよびCIFAR10で顕著な性能向上を達成する。

ABSTRACT

Data cleansing is a typical approach used to improve the accuracy of machine learning models, which, however, requires extensive domain knowledge to identify the influential instances that affect the models. In this paper, we propose an algorithm that can identify influential instances without using any domain knowledge. The proposed algorithm automatically cleans the data, which does not require any of the users' knowledge. Hence, even non-experts can improve the models. The existing methods require the loss function to be convex and an optimal model to be obtained, which is not always the case in modern machine learning. To overcome these limitations, we propose a novel approach specifically designed for the models trained with stochastic gradient descent (SGD). The proposed method infers the influential instances by retracing the steps of the SGD while incorporating intermediate models computed in each step. Through experiments, we demonstrate that the proposed method can accurately infer the influential instances. Moreover, we used MNIST and CIFAR10 to show that the models can be effectively improved by removing the influential instances suggested by the proposed method.

研究の動機と目的

• 既存のデータクリーニング手法が、影響力のある訓練インスタンスを特定するためにドメインの専門知識を必要とすることの制限を解消すること。
• 従来の手法が凸関数の損失関数や最適なモデル収束を前提としている点を克服し、現代のディープラーニングではしばしば満たされない条件に対応すること。
• 確率的勾配降下法（SGD）で訓練されるモデルに特化した手法を開発すること。SGDは現代の機械学習における標準的な訓練パラダイムである。
• ユーザーの手動介入やドメイン知識が不要な自動的データクリーニングにより、非エキスパートがモデル性能を向上させることを可能にすること。
• 識別された影響力のあるインスタンスを削除することで、標準ベンチマーク上でのモデル精度がどのように向上するかを実証すること。

提案手法

• この手法は、すべての訓練ステップにわたる確率的勾配降下法（SGD）の最適化経路を逆再生することで、影響力のある訓練インスタンスを推定する。
• 各SGD更新ステップで計算された中間モデルを活用し、個々の訓練インスタンスがモデル挙動に与える影響を評価する。
• 損失関数が凸である必要がなかったり、最終的なモデルが最適である必要がないため、現実のディープラーニング環境に適用可能である。
• トレーニング経路に沿ったモデル更新への寄与度に基づき、トレースに基づく影響力推定技術を用いて影響力のあるインスタンスを特定する。
• ユーザー定義のヒューリスティクスやドメイン固有の基準が不要な、完全にデータ駆動型かつ自動的なアプローチである。
• 影響力のあるインスタンスを特定した後、データをクリーニングして再訓練することで、モデルの改善を評価する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン知識や凸性の仮定がなくても、SGDで訓練されたモデルにおいて、影響力のある訓練インスタンスを特定できるデータクリーニング手法は存在するか？
• RQ2 提案手法は、既存の影響力推定技術と比較して、最も影響力のある訓練インスタンスをどれほど正確に推定できるか？
• RQ3 識別された影響力のあるインスタンスを削除することで、標準ベンチマーク上でのモデル一般化性能および精度がどの程度向上するか？
• RQ4 損失関数が非凸的で、最終的なモデルが最適でない場合でも、この手法はSGDで訓練された実世界のディープラーニングモデルに効果的に適用可能か？
• RQ5 提案手法により、非エキスパートが自動的データクリーニングを通じてモデル性能を向上させることができるか？

主な発見

• 提案手法は、ドメイン知識や凸損失関数を要件とせず、SGDで訓練されたモデルにおいて影響力のある訓練インスタンスを効果的に特定できた。
• 各SGD更新ステップにおける中間モデルを活用することで、影響力推定の高精度を達成した。
• MNISTデータセットでは、この手法で特定された上位の影響力のあるインスタンスを削除することで、モデルのテスト精度に顕著な向上が見られた。
• CIFAR-10データセットでは、クリーニングされたデータで再訓練した後、テスト誤差が顕著に低減した。
• この手法により、非エキスパートが自動的データクリーニングを通じてモデル性能を向上させることができ、実世界の機械学習ワークフローにおける実用性を示した。
• 非凸の最適化のランドスケープに対してもロバストであり、最適なモデルへの収束を要件としていないため、現代のディープラーニング応用に適している。