[論文レビュー] Emphasis on the Minimization of False Negatives or False Positives in Binary Classification

Sanskriti Singh|arXiv (Cornell University)|Apr 6, 2022

Face and Expression Recognition被引用数 4

ひとこと要約

本論文は、誤検出の一部を真陽性に再ラベルすることで、再訓練された事前学習モデルを用いて二値分類における偽陰性を最小化する新しいデータ再重み付け手法を提案する。この手法により、VGG16 や転移学習モデルを含む多様なアーキテクチャにおいて、F1 スコアを著しく低下させることなく再検出率（Recall）が最大13%向上し、肺炎検出を含む医療画像診断タスクにおいても強力な有効性を示している。

ABSTRACT

The minimization of specific cases in binary classification, such as false negatives or false positives, grows increasingly important as humans begin to implement more machine learning into current products. While there are a few methods to put a bias towards the reduction of specific cases, these methods aren't very effective, hence their minimal use in models. To this end, a new method is introduced to reduce the False Negatives or False positives without drastically changing the overall performance or F1 score of the model. This method involving the careful change to the real value of the input after pre-training the model. Presenting the results of this method being applied on various datasets, some being more complex than others. Through experimentation on multiple model architectures on these datasets, the best model was found. In all the models, an increase in the recall or precision, minimization of False Negatives or False Positives respectively, was shown without a large drop in F1 score.

研究の動機と目的

• 命に関わる医療診断のような高リスクな応用において、陽性例を逃す（偽陰性）ことを最小限に抑えるという重要なニーズに対処すること。
• 全体のモデル性能、特にF1スコアに悪影響を及げることなく偽陰性を低減する手法を開発すること。
• 特定の偽陽性を再ラベルすることでデータ再重み付けを行うことにより、モデルのバイアスを再検出率の向上に向けてシフトさせられるかどうかを検討すること。
• RSNA肺炎およびNIH ChestX-ray8を含む多様なディープラーニングアーキテクチャと実世界のデータセットにおいて、この手法の有効性を評価すること。
• 事前学習後に適用可能な実用的でアーキテクチャに依存しない技術を提供し、臨床意思決定支援におけるモデルの安全性を向上させること。

提案手法

• 本手法は、事前学習済みモデルを、特定の割合の偽陽性を真陽性に再ラベルした修正済みの訓練セットで再訓練することを含む。
• 偽陽性は、事前学習済みモデルを用いて訓練セットに対して推論を実行することで特定され、混同行列が生成される。
• 再ラベル処理は、制御された割合（例：20% から 100%）の偽陽性の正例ラベルを一時的に変更することで、モデルの感度を向上させる。
• 本手法はデータオーグメンテーションとしきい値調整の要素を組み合わせるが、固定された意思決定境界を強制せず、より洗練された意思決定境界を学習可能にする。
• 再訓練されたモデルは、ホールドアウトされたテストセットで評価され、再検出率、適合率、F1スコア、AUROCの変化が測定される。
• 本手法は、VGG16 や転移学習モデルなど複数のアーキテクチャに適用され、汎用性の検証が行われる。

実験結果

リサーチクエスチョン

• RQ1 特定の割合の偽陽性を真陽性に再ラベルすることで、全体のモデル性能を著しく低下させることなく再検出率を顕著に向上させられるか？
• RQ2 再ラベルされた偽陽性の割合が、二値分類における再検出率とF1スコアのトレードオフにどのように影響するか？
• RQ3 本手法は、多様なディープラーニングアーキテクチャとデータセットにおいて、性能を維持または向上させるか？
• RQ4 本手法は、チストレーサーX線からの肺炎検出のような高リスクな医療画像診断タスクにおいて有効か？
• RQ5 クラスウェイト、データオーグメンテーション、しきい値シフトといった既存手法と比較して、再検出率の向上とF1スコアの安定性において本手法は優れているか？

主な発見

• VGG16（最良のパフォーマンスを示したモデル）では、偽陽性の60%を再ラベルした際、再検出率が最大13%向上し、F1スコアは0.48を維持した。
• 転移学習モデルでは、偽陽性を100%再ラベルした際、再検出率が0.62から0.70に向上し、F1スコアは0.54から0.57にわずかに上昇した。
• VGG16モデルでは、60%の再ラベルで再検出率が0.74から0.78に上昇し、F1スコアが0.45から0.48に改善した。
• すべてのモデルでF1スコアが安定またはわずかに向上し、再検出率の大幅な向上にもかかわらず顕著な低下は見られなかった。
• 再ラベル後の最良のモデルをアンサンブル化することで、再検出率が0.56から0.68に向上し、F1スコアは0.58を維持した。実用的価値が明確に示された。
• 初期適合率が低いモデル（より多くの偽陽性が存在）において、本手法は学習信号を強化でき、最も効果的であった。