[論文レビュー] Understanding Programmatic Weak Supervision via Source-aware Influence Function

Jieyu Zhang, Haonan Wang+2 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、プログラムウェイクスーパvised（PWS）における訓練損失を、個々のコンポonent—例えばソース投票、ラベル関数（LFs）、訓練データ—の影響に分解する、新しい手法であるソースに配慮したインパルジョン関数（SIF）を提案する。ラベル生成プロセスを活用し、再重み付けおよび重み移動の摂動を用いることで、SIFは細分化されたデバッグ、誤ラベル検出（ベースライン比9–37%優れる）、および一般化性能の向上（通常のIF比13–24%優れる）を可能にする。

ABSTRACT

Programmatic Weak Supervision (PWS) aggregates the source votes of multiple weak supervision sources into probabilistic training labels, which are in turn used to train an end model. With its increasing popularity, it is critical to have some tool for users to understand the influence of each component (e.g., the source vote or training data) in the pipeline and interpret the end model behavior. To achieve this, we build on Influence Function (IF) and propose source-aware IF, which leverages the generation process of the probabilistic labels to decompose the end model's training objective and then calculate the influence associated with each (data, source, class) tuple. These primitive influence score can then be used to estimate the influence of individual component of PWS, such as source vote, supervision source, and training data. On datasets of diverse domains, we demonstrate multiple use cases: (1) interpreting incorrect predictions from multiple angles that reveals insights for debugging the PWS pipeline, (2) identifying mislabeling of sources with a gain of 9%-37% over baselines, and (3) improving the end model's generalization performance by removing harmful components in the training objective (13%-24% better than ordinary IF).

研究の動機と目的

• プログラムウェイクスーパvised（PWS）パイプラインにおける解釈可能性ツールの不足に応えること。ユーザーは、ラベル関数（LFs）、ソース投票、訓練データといった個々のコンポonentの影響を理解する必要がある。
• 標準インパルジョン関数（IF）の限界を克服すること。IFは弱ラベルデータを原子的単位として扱い、PWSにおける下位レベルのソース生成プロセスを無視する。
• 一般的で、ラベルモデルに依存しないフレームワークを構築し、PWSにおけるコンポonentレベルの影響推定を可能にするとともに、従来のIFと同等の解釈可能性と順位の正確性を維持すること。
• デバッグ、誤ラベル化されたLFの検出、および特定の訓練損失摂動に基づくモデル一般化性能の向上といった実用的応用を可能にすること。

提案手法

• 各（データ、ソース、クラス）タプル、すなわち$(i,j,c)$-効果に関連する項にPWSの訓練損失を分解し、ラベル関数$j$がデータポイント$i$のクラス$c$に与える寄与度をモデル化する。
• 再重み付けおよび重み移動の2つの摂動ベース手法を提案し、訓練目的における特定の$(i,j,c)$-効果の寄与度を変更することで、ソースに配慮したインパルジョンスコアを計算する。
• 得られたインパルジョンスコアを用いて、上位レベルのコンポonentの影響を推定する：クラスにわたる集約により個々のソース投票、データおよびクラスにわたる集約によりラベル関数、すべてのソースおよびクラスにわたる集約により訓練データ。
• インパルジョンスコアの加法的性質を活用し、PWSパイプラインの異なるコンポonentにわたる効率的かつ解釈可能な影響推定を可能にする。
• 微分可能でスケーラブルなインパルジョンスコア計算を可能にするために、非線形関数を恒等関数に置き換えるラベルモデル近似を適用するが、性能にほとんど影響を与えない。
• 13のデータセット（表形式、テキスト、画像のドメインを含む）で手法を検証し、スピアマンの順位相関係数を用いて、ソースに配慮したIFが従来のIFの順位を保持していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 プログラムウェイクスーパvisedパイプラインにおいて、個々のラベル関数投票が最終モデルの予測に与える影響をどのように推定できるか？
• RQ2 モデルの誤予測を診断する際、標準的なデータレベルのインパルジョン関数に比べ、ソースに配慮したインパルジョン関数はより優れた解釈可能性を提供できるか？
• RQ3 ソースに配慮したIFは、既存のベースラインと比較して、誤ラベル化されたラベル関数をどの程度正確に検出できるか？
• RQ4 ソースに配慮したIFに従って細分化された訓練損失摂動を実施することで、最終モデルの一般化性能を向上させられるか？
• RQ5 提案手法は、コンポonentレベルの影響推定を可能にしつつ、標準インパルジョン関数の順位の正確性を維持できるか？

主な発見

• ソースに配慮したIFは、標準的なデータレベルのインパルジョン関数とスピアマンの順位相関係数0.71–0.99を達成し、影響順位の信頼性を確認した。
• ソースに配慮したIFは、標準IFがデータポイントに影響を誤って帰属させる可能性があるのに対し、最も影響力の高いラベル関数やソース投票を特定することで、モデルの誤りのより正確なデバッグを可能にする。
• 複数のデータセットにおいて、誤ラベル化されたラベル関数の検出において、F1スコアでベースライン比9%–37%優れた性能を示した。
• ソースに配慮したIFに従って訓練目的を摂動することで、通常のIFおよびグループIFと比較して、テスト損失を13%–24%改善した。
• 非線形関数を恒等関数に置き換えるラベルモデル近似により、効果的でスケーラブルなインパルジョンスコア計算が可能となり、平均テスト損失への性能低下は最小限に抑えられた。
• 本手法は一般性があり、ラベルモデルの選択に依存しないため、さまざまなラベルモデリング手法を用いたPWSパイプラインに適用可能である。