[論文レビュー] Training Set Debugging Using Trusted Items

Xuezhou Zhang, Xiaojin Zhu+1 more|arXiv (Cornell University)|Jan 24, 2018

Machine Learning and Data Classification被引用数 26

ひとこと要約

本稿では、検証済みの信頼できるアイテムの小さな集合を活用して、機械学習の訓練セット内のラベルバグを特定・修正する DUTI（Debugging Using Trusted Items）を提案する。信頼できるアイテムを正しく予測するように最小限のラベル修正を求める二段階最適化問題として定式化することで、DUTI は人間によるレビューの対象となる可能性のあるバグを特定し、多様なデータセットにおいて外れ値および体系的なラベル誤りの両方を効果的に検出することを示している。

ABSTRACT

Training set bugs are flaws in the data that adversely affect machine learning. The training set is usually too large for man- ual inspection, but one may have the resources to verify a few trusted items. The set of trusted items may not by itself be adequate for learning, so we propose an algorithm that uses these items to identify bugs in the training set and thus im- proves learning. Specifically, our approach seeks the smallest set of changes to the training set labels such that the model learned from this corrected training set predicts labels of the trusted items correctly. We flag the items whose labels are changed as potential bugs, whose labels can be checked for veracity by human experts. To find the bugs in this way is a challenging combinatorial bilevel optimization problem, but it can be relaxed into a continuous optimization problem. Ex- periments on toy and real data demonstrate that our approach can identify training set bugs effectively and suggest appro- priate changes to the labels. Our algorithm is a step toward trustworthy machine learning.

研究の動機と目的

• 手動での点検が非現実的である大規模な訓練セットにおけるラベルバグの検出という課題に対処すること。
• 公平性や正確性を損なう体系的および外れ値のラベルバグを特定することで、モデルの信頼性を向上させること。
• 完全な再トレーニングを必要とせず、小さな信頼できるアイテムの集合を用いて修正を誘導する実用的なデバッグフレームワークを提供すること。
• ドメインエキスパートが高い信頼度のバグ候補に集中することで、フラグ付きアイテムの検証を効率的に行えるようにすること。
• 最小限で標的を絞ったラベル修正を通じて、歴史的バイアスやデータ欠損を検出することにより、信頼できる機械学習を支援すること。

提案手法

• DUTI は、信頼できるアイテムを正しく予測するように訓練されたモデルが得られるよう、訓練セットにおける最小のラベル変更を求める二段階最適化問題を定式化する。
• 組合せ的二段階問題をラグランジュ緩和とKKT条件を用いて連続最適化に緩和し、勾配ベースの手法による効率的解法を可能にする。
• 回帰の場合、ラベルのずれ（δ）に対するL1ノルムペナルティを用いて、特定されたバグ修正のスパarsityを促進する。
• 学習アルゴリズムの目的関数と制約を一つの段階最適化に統合し、モデルパラメータθは訓練データと修正済みラベルから導出される。
• 信頼できる検証ポイントを優先するために、信頼度重み（ci）を信頼できるアイテムに組み込む。
• 正則化された経験的リスク最小化器で、強い凸性および2回微分可能関数を持つ目的関数を有する任意のモデルに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 小さな信頼できるアイテムの集合が、大規模な訓練セットにおける外れ値および体系的ラベルバグの両方を効果的に検出できるか。
• RQ2 修正されたデータで訓練されたモデルが信頼できるアイテムの予測と一致するような、最小のラベル修正集合をどのように特定できるか。
• RQ3 元のデバッグ目標との整合性を損なわず、二段階最適化問題を連続的かつ解ける形に緩和できる範囲はどの程度か。
• RQ4 DUTI は、実世界のラベルバグを検出し修正するという点で、ベースライン手法と比較してどの程度優れているか。
• RQ5 DUTI の失敗モードは何か。また、モデルの限界によるものか、データ誤りによるものかを区別できない状況では、非バグを誤ってフラグ付けする可能性はどの程度か。

主な発見

• DUTI は、おもちゃデータセットおよび実世界のデータセットにおいて、外れ値および体系的ラベルバグを効果的に特定した。特に、採用意思決定における歴史的バイアスの事例も含む。
• 特にデータの一貫性からは明らかでない隠れたバイアスを含む状況において、ベースライン手法を上回る性能を示した。
• 実験では、DUTI が高信頼度のバグ候補としてフラグを立て、人間による点検で多くの場合、実際にラベル誤りであると確認された。
• カーネルロジスティック回帰や正則化線形モデルを含む、さまざまなデータ分布およびモデルタイプにおいて、DUTI は頑健性を示した。
• DUTI がフラグを立てたバグは、しばしばバイアスが高く、カバー範囲が狭いデータ領域に集中しており、体系的欠陥に敏感であることが示された。
• スケーラビリティの制限や、モデルの不足適合や高いベイズ誤り率による誤検出の可能性は存在するが、信頼できる機械学習のための実用的で効果的なデバッグパイプラインを提供している。