[論文レビュー] Multi-Resolution Weak Supervision for Sequential Data

Frédéric Sala, Paroma Varma+9 more|arXiv (Cornell University)|Oct 21, 2019

AI in cancer detection参考文献 56被引用数 4

ひとこと要約

Dugong は、フレーム単位、ウィンドウ単位、シーン単位のラベル付けソースの複雑な相関関係をモデル化する、時系列データにおけるマルチリソリューション弱教師付き学習のための最初のフレームワークである。線形システムの解法とパラメータ共有を用いて、教師データが存在しない状況でもソースの正確性と相関関係を推定し、従来の弱教師付き学習手法に比べて平均で24.2 F1ポイント、従来の教師あり学習に比べて16.0 F1ポイントの向上を達成した。

ABSTRACT

Since manually labeling training data is slow and expensive, recent industrial and scientific research efforts have turned to weaker or noisier forms of supervision sources. However, existing weak supervision approaches fail to model multi-resolution sources for sequential data, like video, that can assign labels to individual elements or collections of elements in a sequence. A key challenge in weak supervision is estimating the unknown accuracies and correlations of these sources without using labeled data. Multi-resolution sources exacerbate this challenge due to complex correlations and sample complexity that scales in the length of the sequence. We propose Dugong, the first framework to model multi-resolution weak supervision sources with complex correlations to assign probabilistic labels to training data. Theoretically, we prove that Dugong, under mild conditions, can uniquely recover the unobserved accuracy and correlation parameters and use parameter sharing to improve sample complexity. Our method assigns clinician-validated labels to population-scale biomedical video repositories, helping outperform traditional supervision by 36.8 F1 points and addressing a key use case where machine learning has been severely limited by the lack of expert labeled data. On average, Dugong improves over traditional supervision by 16.0 F1 points and existing weak supervision approaches by 24.2 F1 points across several video and sensor classification tasks.

研究の動機と目的

• 動画やセンサーストリームなどの時系列データにおいて、フレーム単位、ウィンドウ単位、シーン単位のラベル付けソースを扱える弱教師付き学習フレームワークの不足を解消すること。
• 教師データが入手不可な状況でも、フレーム単位、ウィンドウ単位、シーン単位の監督信号間の複雑な相関関係と未知の正確性をモデル化すること。
• パラメータ共有とソース相関関係の構造的仮定を活用することで、長時間のシーケンスにおいてサンプルの複雑さを低減すること。
• （例：ラベル頻度など）分布の事前分布を統合することで、データが少ない状況でもラベル推定の正確性を向上させること。
• 実世界の応用において、多様でノイズの多いソースからの弱教師付きデータを用いて、スケーラブルでエンドツーエンドのディープラーニングモデルの訓練を可能にすること。

提案手法

• フレーム、ウィンドウ、シーンという複数のリソリューション間の時系列的依存関係を持つ潜在変数モデルとして、マルチリソリューション弱教師付き学習を定式化する。
• ソースの合意と不一致に基づいて導出された2つの線形システムを解くことで、ソースの正確性と相関パラメータを推定する。
• ソース相関構造にやや弱い条件を課すことにより、モデルの同定可能性を保証し、パラメータの一意的回復を可能にする。
• リソリューションおよび時間ステップに跨るパラメータ共有を適用することで、パラメータ数を削減し、サンプル効率を向上させる。
• ユーザー定義またはデータから導出されたクラス事前分布を統合し、ラベル推定の正則化を図り、レアイベントの検出性能を向上させる。
• PyTorch などのディープラーニングフレームワークで効率的に動作する、確率的勾配降下法（SGD）の変種を開発し、標準実装に比べて90倍高速な推論を達成した。

実験結果

リサーチクエスチョン

• RQ1 教師データが存在しない状況でも、フレーム、ウィンドウ、シーンといったマルチリソリューションのラベル付けソースを、複雑な相関関係を考慮して効果的にモデル化できるか？
• RQ2 元のモデルパラメータ（正確性と相関）が、ラベルなしデータから一意に回復可能となる条件は何か？
• RQ3 リソリューションに跨るパラメータ共有が、長時間の時系列シーケンスにおけるサンプル複雑さとモデル一般化性能に与える影響は何か？
• RQ4 分布事前分布を統合することで、特に時系列データにおけるレアイベント検出において、ラベル推定の正確性はどの程度向上するか？
• RQ5 Dugong は、多様な時系列分類タスクにおいて、従来の教師あり学習および既存の弱教師付き学習ベースラインと比較して、どの程度の性能向上を示すか？

主な発見

• Dugong は、複数の動画およびセンサーストリーム分類タスクにおいて、従来の教師あり学習に比べて平均で16.0 F1ポイントの向上を達成した。
• Dugong は、既存の弱教師付き学習手法に比べて平均で24.2 F1ポイントの向上を示し、ラベル品質の顕著な向上を実証した。
• アブレーションスタディの結果、パラメータの縛り（パラメータ共有）を除去すると、平均で9.2 F1ポイントの性能低下が生じ、パラメータ共有の重要性が示された。
• 時間的依存関係を無視すると、10.2 F1ポイントの性能低下が生じ、これは、時系列相関をモデル化することで、ソース信頼性の過剰評価を防げることを示している。
• ユーザー定義のクラス事前分布を適用した場合、レアな遷移が重要な Shot データセットでは14.8 F1ポイントの性能向上が得られ、ドメイン知識に基づく事前分布の価値が裏付けられた。
• Dugong の SGD 変種は、標準実装に比べて90倍高速な実行時間を達成し、現代のディープラーニングパイプラインへの導入を可能にした。