[論文レビュー] Motion-Based Weak Supervision for Video Parsing with Application to Colonoscopy

Ori Kelner, Or Weinstein+2 more|arXiv (Cornell University)|Oct 16, 2022

Colorectal Cancer Screening and Detection被引用数 6

ひとこと要約

本論文は、内視鏡検査動画の動画解析のための2段階の動きに基づく弱教師付き枠組みを提案する。光学フローから得られる動きの特徴を用いて、フレームの外観分類器と時空間畳み込みネットワークのトレーニングにノイズの多いラベルを生成する。本手法は、動きのみを用いたベースラインと比較して、段階的転移検出における平均絶対誤差（1.14分）を47％低減し、医療動画における正確でアノテーションフリーの段階セグメンテーションを実現する。

ABSTRACT

We propose a two-stage unsupervised approach for parsing videos into phases. We use motion cues to divide the video into coarse segments. Noisy segment labels are then used to weakly supervise an appearance-based classifier. We show the effectiveness of the method for phase detection in colonoscopy videos.

研究の動機と目的

• 医療動画解析、特に内視鏡動画において、フレームレベルのアノテーションの高コストと困難さに対処すること。
• 動きの特徴を代替的教師信号として活用することで、人的にアノテートされた段階境界を回避する弱教師付きアプローチの開発。
• 動きから得られるラベルを用いてトレーニングされた外観ベース分類器により、内視鏡動画における段階検出の精度を向上させること。
• 弱教師付き特徴に対する時系列モデリングとしてMS-TCNの有効性を段階境界の局所化に評価すること。

提案手法

• 動きに基づく解析では、光学フローとグリーンの定理による発散統合を用いて自己移動方向を推定し、前進（挿入）と後退（吸引）の動きを特定する。
• 時間的に積算された動きの方向をもとにノイズの多い段階ラベルを生成し、全期間における最大値が段階転移点を示す。
• 動き解析でラベル付けされたランダムに抽出されたフレームを用いて、ResNet50ベースのフレーム分類器を微調整し、段階区別に適した外観特徴を学習する。
• マルチステージ時空間畳み込みネットワーク（MS-TCN）は、フレームレベルの予測を時系列に統合し、動きから得たラベルを弱教師信号として用いる。
• 遷移検出器は、予測確率の上での分割スコア関数を最大化することで、最適な段階境界を計算する。
• 分類器から得た外観特徴と時系列モデリングを組み合わせることで、一般化性能を向上させ、誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 動きの特徴のみで、内視鏡動画解析の外観ベースモデルのトレーニングに十分な教師信号を提供できるか？
• RQ2 動きに基づくラベルによる弱教師付き学習と、完全教師付き学習とを比較した場合、段階転移検出においてどの程度の差が生じるか？
• RQ3 視覚的特徴と併せて動き信号を統合することで、ラベルのノイズの影響によりモデル性能が低下するか？
• RQ4 ノイズの多い動き由来ラベルを用いてトレーニングされた場合、MS-TCNによる時系列モデリングが段階境界の局所化を改善できるか？

主な発見

• 提案手法は、動きのみのベースラインと比較して、段階転移検出における平均絶対誤差（MAE）を47％低減（2.15分から1.14分）した。
• 中央絶対誤差（MedAE）は50％以上低減（0.99分から0.49分）され、より高いロバスト性を示した。
• 弱教師付き分類器の特徴をMS-TCNに適用した場合、動き方向や統合特徴を用いた他のすべての構成よりも優れた性能を達成した。
• MS-TCNに動き方向を入力すると性能が低下（MAE 1.61分）、視覚的特徴と組み合わせた場合にノイズの多い動きラベルが一般化性能に悪影響を及えることが示唆された。
• 人的にアノテートされたフレームを一切使用せず、動きに基づく弱教師付き学習に依存するだけで、優れた性能を達成した。