[論文レビュー] Self-supervised Representation Learning for Ultrasound Video

Jianbo Jiao, Richard Droste+3 more|arXiv (Cornell University)|Feb 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 6

ひとこと要約

本稿では、人間のアノテーションが一切不要な胎児超音波動画の自己教師付き表現学習手法を提案する。時間的順序の補正と幾何変換予測を事前学習タスクとして用い、解剖学的構造に配慮した表現を学習する。下流タスク（標準断面検出や注目度予測など）において、強い転移性能を示し、ランダム初期化やSonoNetベースの初期化をわずかに上回り、教師ありベースラインに近い性能を達成した。

ABSTRACT

Recent advances in deep learning have achieved promising performance for medical image analysis, while in most cases ground-truth annotations from human experts are necessary to train the deep model. In practice, such annotations are expensive to collect and can be scarce for medical imaging applications. Therefore, there is significant interest in learning representations from unlabelled raw data. In this paper, we propose a self-supervised learning approach to learn meaningful and transferable representations from medical imaging video without any type of human annotation. We assume that in order to learn such a representation, the model should identify anatomical structures from the unlabelled data. Therefore we force the model to address anatomy-aware tasks with free supervision from the data itself. Specifically, the model is designed to correct the order of a reshuffled video clip and at the same time predict the geometric transformation applied to the video clip. Experiments on fetal ultrasound video show that the proposed approach can effectively learn meaningful and strong representations, which transfer well to downstream tasks like standard plane detection and saliency prediction.

研究の動機と目的

• 医療超音波動画解析における限られた貴重な人間アノテーションデータの課題に対処すること。
• ラベルなしの生の未アノテート胎児超音波動画データから意味のある、転移可能な表現を学習すること。
• データ駆動型事前学習タスクを通じて、モデルが解剖学的構造の認識を内蔵的に学習するのを促す自己教師付きフレームワークを構築すること。
• 標準断面検出や注目度予測といった実世界の下流タスクにおける学習表現の有効性を評価すること。

提案手法

• モデルは時間的にシャッフルされた動画クリップを学習対象とし、元のフレーム順序を再構築することを事前学習タスクとして要求する。
• 2番目の事前学習タスクでは、動画クリップに適用された幾何変換（例：回転、スケーリング）を予測する必要がある。
• 両タスクを同時に最適化できるように、シアン型ネットワークアーキテクチャを採用し、統合的推論と安定性の向上を実現する。
• 表現学習にはCNNバックボーンを用い、共有エンコーダーから抽出された特徴量を下流タスクの微調整に活用する。
• モノクロの超音波には不適切な、視線追跡や色付けなどの外部教師信号に依存しない。
• 最終的な表現は、分類（標準断面検出）および回帰（注目度予測）タスクにおける微調整によって評価される。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き表現学習は、アノテーションなしの胎児超音波動画から解剖学的特徴を効果的に捉えることができるか？
• RQ2 時間的順序補正と幾何変換予測の両方を統合的に学習することは、単一タスクアプローチよりも強力で、より転移性の高い表現を生み出すか？
• RQ3 限られたラベル付きデータにおける下流タスクにおいて、本手法は教師あり事前学習（例：SonoNet）やランダム初期化と比較してどのように性能を発揮するか？
• RQ4 個々の構成要素（順序補正対比変換予測）が最終的な性能にどの程度寄与しているか？

主な発見

• 提案手法は、標準断面検出タスクで平均F1スコア75.7%を達成し、個々の事前学習タスクやベースライン手法を上回った。
• 注目度予測タスクでは、Ours-SiamモデルがCC=0.22、NSS=2.72を達成し、ランダム初期化（CC: 0.12、NSS: 1.47）を著しく上回った。
• シアン型アーキテクチャによる統合学習は、分離型アーキテクチャと比較して標準偏差を低減し、安定性が向上した。
• アブレーションスタディの結果、両事前学習タスクを組み合わせることで、単独で使用する場合よりも優れた性能が得られることを確認した。
• 人間のアノテーションが一切ないにもかかわらず、教師ありベースラインに非常に近い性能を達成し、強力な転移性を示した。
• 定性的な結果から、一貫性があり正確な注目度予測が得られており、AUCやCCといった主な指標において、SonoNetと同等またはそれ以上の性能を示した。