[論文レビュー] FROTE: Feedback Rule-Driven Oversampling for Editing Models

Öznur Alkan, Dennis Wei+4 more|arXiv (Cornell University)|Jan 4, 2022

Data Quality and Management被引用数 4

ひとこと要約

FROTEは、ユーザーが提供したフィードバックルールに基づいて合成インスタンスをオーバースマoothingすることで、表形式データ向けの機械学習モデルを編集する新しいデータ拡張技術である。これにより、モデルの意思決定境界を更新されたポリシーに一致させることができる。FROTEは、影響を受けないデータセグメントにおける精度の低下を最小限に抑えつつ、最新の手法を上回る性能を発揮し、モデルに依存しない事前処理によりルールベースの編集を効率的かつ透明かつ監査可能に実現する。

ABSTRACT

Machine learning models may involve decision boundaries that change over time due to updates to rules and regulations, such as in loan approvals or claims management. However, in such scenarios, it may take time for sufficient training data to accumulate in order to retrain the model to reflect the new decision boundaries. While work has been done to reinforce existing decision boundaries, very little has been done to cover these scenarios where decision boundaries of the ML models should change in order to reflect new rules. In this paper, we focus on user-provided feedback rules as a way to expedite the ML models update process, and we formally introduce the problem of pre-processing training data to edit an ML model in response to feedback rules such that once the model is retrained on the pre-processed data, its decision boundaries align more closely with the rules. To solve this problem, we propose a novel data augmentation method, the Feedback Rule-Based Oversampling Technique. Extensive experiments using different ML models and real world datasets demonstrate the effectiveness of the method, in particular the benefit of augmentation and the ability to handle many feedback rules.

研究の動機と目的

• ローン承認や保険請求管理などの分野で、新しいルールの導入に伴い意思決定境界が変化する場合のMLモデルの更新という課題に対処すること。
• 専門家からのフィードバックを直接モデル学習に組み込むことで、高コストな手動再ラベル付けや遅いデータ収集に依存するのを減らすこと。
• フィードバックルールを訓練データに埋め込むためにデータ拡張を用いる、モデルに依存しない事前処理ソリューションを提案すること。
• 解釈可能なブール型フィードバックルールを通じて、効率的で透明性があり監査可能なモデル編集を可能にすること。
• フィードバックルールの影響を受けないデータセグメントにおけるパフォーマンス劣化を最小限に抑えつつ、新しいポリシー境界に整合性を高めること。

提案手法

• FROTEは、ユーザーのフィードバックルールに従って既存の訓練データを変更し、許可されている場合はインスタンスの再ラベル付けや削除を実施する。
• SMOTEにインspiredされたルール認識型オーバースマoothing戦略を適用し、マイナスティやルール違反領域の近くに合成インスタンスを生成する。
• ベースインスタンスの選択には、ランダムサンプリングまたは特徴空間の近接性とルール制約を考慮するインformed戦略（IP）を用いる。
• 選択されたベースインスタンスとそのk番目の近隣インスタンスとの間で補間を行い、合成インスタンスを生成することで、フィードバックルールに整合性を保つ。
• 拡張されたデータセットは、任意の標準分類器で再トレーニング可能であり、FROTEはモデルに依存せずブラックボックスモデルにも適用可能である。
• 影響を受けないデータセグメントへの変更を最小限に抑え、全体の精度を保持するように、データ拡張とモデル忠実度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 フィードバックルールをデータ拡張により訓練データに効果的に埋め込むことで、再トレーニングを伴わずにモデルの意思決定境界を更新できるか？
• RQ2 FROTEは、ユーザー指定のフィードバックルールに従ったモデル予測の整合性を、最新の手法と比較してどの程度向上させられるか？
• RQ3 ポリシー更新が必要な領域に少数のインスタンスしか存在しない場合、データ拡張はモデルパフォーマンスをどの程度向上させるか？
• RQ4 FROTEは、フィードバックルールの影響を受けないデータセグメントでのモデルパフォーマンスを維持しながら、新しいルールに整合性を高められるか？
• RQ5 ベースインスタンス選択戦略（ランダム vs. IP）の違いが、拡張プロセスの有効性と効率性に与える影響はどの程度か？

主な発見

• FROTEは、複数のデータセットとモデルにおいて、平均順位精度（MRA）とFスコアを顕著に向上させ、さまざまな設定におけるMRA向上幅は0.002から0.076の範囲にのぼる。
• 特に複数のフィードバックルールやスパarsなデータ領域の処理において、最新の手法を上回る性能を発揮する。
• IPに基づくベースインスタンス選択戦略は、ランダム選択と比較して、より少ない数の合成インスタンスを追加しながらも、同等またはより高いパフォーマンスを達成する。
• 拡張サイズが一定の閾値を超えると、モデルパフォーマンスが劣化し始める明確なインフレクションポイントが観察され、ルール整合性とデータ品質のトレードオフが示された。
• ランダム選択とIP選択の両方とも、Fスコアに顕著な低下を来さずにMRAを向上させるため、さまざまな条件下でもベースインスタンス選択戦略に頼らずに安定した性能を発揮する。
• 解釈可能なブール型フィードバックルールを通じて、透明性があり監査可能なモデルアップデートを可能にし、ガバナンスと履歴追跡を支援する。