[論文レビュー] SoCal: Selective Oracle Questioning for Consistency-based Active Learning of Cardiac Signals

Dani Kiyasseh, Tingting Zhu+1 more|arXiv (Cornell University)|May 4, 2021

Machine Learning and Algorithms参考文献 47被引用数 4

ひとこと要約

SoCal は心電信号解析のための整合性に基づくアクティブラーニングフレームワークであり、オラクルへの照会と疑似ラベルの生成の間で動的に選択することで、医師のラベル付け負担を軽減する。ノイズのあるオラクルであっても、強力なモデル性能を維持し、人的ラベルへの依存度を著しく低下させつつ、正確性を保つ。

ABSTRACT

The ubiquity and rate of collection of cardiac signals produce large, unlabelled datasets. Active learning (AL) can exploit such datasets by incorporating human annotators (oracles) to improve generalization performance. However, the over-reliance of existing algorithms on oracles continues to burden physicians. To minimize this burden, we propose SoCal, a consistency-based AL framework that dynamically determines whether to request a label from an oracle or to generate a pseudo-label instead. We show that our framework decreases the labelling burden while maintaining strong performance, even in the presence of a noisy oracle.

研究の動機と目的

• 心電信号解析における医師のラベル付け負担を、人的オラクルへの依存度を最小限に抑えることで軽減すること。
• ノイズのある信頼性の低いオラクルフィードバックであっても、高いモデルパフォーマンスを維持すること。
• 予測の整合性に基づいて、オラクル照会と疑似ラベル生成の間で動的に意思決定を行うメカニズムを開発すること。
• 大規模かつラベルなしの心電信号データセットにおける効率的なアクティブラーニングを可能にすること。
• 最小限の人的介入で、心電信号分類の一般化性能を向上させること。

提案手法

• SoCal は、データオーグメンテーションを施した複数回の順方向プロパゲーションにおけるモデル予測の整合性を評価する基準を用いる。
• 予測がオーグメント化されたビュー間で整合的である場合、モデルはオラクルへの照会ではなく、疑似ラベルを生成する。
• 予測が整合的でない場合、システムは真のラベルを取得するためにオラクルに照会する。
• 意思決定を支援するために、不確実性と整合性の指標を統合する。
• 探索（照会）と活用（疑似ラベル化）のバランスを取るために、動的しきい値設定機構を採用する。
• 教師あり学習と疑似教師あり学習のコンponentを組み合わせた損失関数を用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングを用いた心電信号分類において、モデルパフォーマンスを損なわせることなく、医師のラベル付け負担をどのように軽減できるか？
• RQ2 整合性に基づくアクティブラーニングにおいて、疑似ラベル付けがどの程度オラクル照会に置き換え可能か？
• RQ3 従来のアクティブラーニングと比較して、ノイズのあるオラクル条件下でのフレームワークのパフォーマンスはどの程度か？
• RQ4 一般化性能の向上に寄与するための、照会と疑似ラベル化の最適なバランスは何か？
• RQ5 予測の整合性に基づく動的意思決定が、心電信号のラベリング効率をどのように向上させるか？

主な発見

• SoCal はトレーニング中におけるオラクル照問回数を顕著に削減し、ラベル付け負担を軽減した。
• オラクルがノイズのあるラベルを提供しても、フレームワークは高い分類精度を維持した。
• 予測の整合性に基づく動的疑似ラベル付けにより、時間経過とともにモデルの一般化性能が向上した。
• ラベル効率とパフォーマンスの安定性の面で、標準的なアクティブラーニングベースラインを上回った。
• 整合性に基づく意思決定により、人的介入を最小限に抑えながら信頼性の高いモデル更新が可能になった。
• ラベルノイズに対して頑健であるため、実臨床環境での導入に適している。