[論文レビュー] Depth Reconstruction and Computer-Aided Polyp Detection in Optical Colonoscopy Video Frames

Saad Nadeem, Arie Kaufman|arXiv (Cornell University)|Sep 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 11

ひとこと要約

本稿では、仮想的コロノスコピー（VC）のトレーニングデータから得た深度マップ推定を用いて、光学的コロノスコピーにおけるポリープのコンピュータ支援検出システムを提案する。VCデータセットでトレーニングされた機械学習ベースのRGB-深度辞書を活用することで、カメラパラメータや幾何的仮定を必要とせず、2次元の光学的コロノスコピー画像に深度を推定する手法を実現し、ポリープ検出において84.0%の再現率と83.4%の特異度を達成した。

ABSTRACT

We present a computer-aided detection algorithm for polyps in optical colonoscopy images. Polyps are the precursors to colon cancer. In the US alone, more than 14 million optical colonoscopies are performed every year, mostly to screen for polyps. Optical colonoscopy has been shown to have an approximately 25% polyp miss rate due to the convoluted folds and bends present in the colon. In this work, we present an automatic detection algorithm to detect these polyps in the optical colonoscopy images. We use a machine learning algorithm to infer a depth map for a given optical colonoscopy image and then use a detailed pre-built polyp profile to detect and delineate the boundaries of polyps in this given image. We have achieved the best recall of 84.0% and the best specificity value of 83.4%.

研究の動機と目的

• 複雑な大腸の解剖学的構造と3次元情報の不足により、光学的コロノスコピーでのポリープ見逃し率が約25%に達する問題に対処する。
• モノクロナルで動的なコロノスコピー環境において、従来のコンピュータビジョン技術（例：ステレオからの形状、照度からの形状）の限界を克服する。
• 機械学習とVC由来のトレーニングデータを用いて3次元深度特徴を推定することで、2次元光学的コロノスコピーにおける正確なポリープ検出を実現する。
• カメラパラメータに依存しない、堅牢な深度再構成および内視鏡動画フレームにおけるポリープ境界の明確化手法を開発する。
• 汎用的な深度表現を活用することで、本フレームワークをコロノスコピー以外の内視鏡的手術（例：気管支鏡検査）へ拡張する。

提案手法

• 仮想的コロノスコピー（VC）データセットを用いて、3次元CTベースの大腸再構築から得られる深度マップを用いて、RGB-深度辞書を構築する。
• 事前にトレーニングされたRGB-深度辞書を用いて、入力となる光学的コロノスコピー（OC）のRGB画像から対応する深度マップへの機械学習ベースのマッピングを適用する。
• 事前に構築されたポリーププロファイルのデータベース（深度マップ空間内）を活用し、3次元幾何的特徴に基づいてポリープ境界を検出および明確化する。
• 深度マップ再構成の品質を評価するために、構造的類似性および正規化誤差指標（NRMSE、HD、SSIM）を用いる。
• カメラの内部パラメータや剛体的大腸幾何の仮定なしに、実際のOC動画フレームに本手法を適用する。
• VCからOC画像への深度表現を転送するために、最近傍探索に類似したマッチング戦略を用い、高密度な深度推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 仮想的コロノスコピー（VC）データでトレーニングされた機械学習モデルを用いて、2次元の光学的コロノスコピー画像から深度マップを効果的に推定できるか？
• RQ2 3次元幾何的深度情報を取り入れることで、2次元コロノスコピー画像におけるポリープ検出性能がどの程度向上するか？
• RQ3 本手法は、内視鏡画像における視点の変化、テクスチャの違い、カメラキャリブレーションの欠如といった状況に対して、どの程度頑健か？
• RQ4 本深度推定フレームワークは、コロノスコピー以外の内視鏡的手術へも一般化可能か？
• RQ5 本システムは、臨床的な実動画フレームにおけるポリープ検出に関して、再現率と特異度の観点でどの程度の性能を示すか？

主な発見

• 本手法は、300の内視鏡動画フレーム（ポリープ75例、正常225例）において、最高で84.0%の再現率と83.4%の特異度を達成した。
• RGB-深度辞書を用いた深度マップ再構成は、最適なテクスチャ条件のもとでNRMSEが0.43、HDが0.43、SSIMが0.30を示した。
• 本手法は、カメラの内部パラメータや大腸の剛体性に関する仮定なしに、OC画像から高密度な深度マップを正常に再構成できた。
• 失敗事例の主な原因は、ポリープと背景との間でテクスチャの類似性が高いためであり、図9に示すように、正しい深度推定がなされてもポリープが検出されないケースが多かった。
• 本フレームワークは一般化可能性を示し、同じ辞書を用いて気管支鏡検査の動画フレームに対しても、成功裏に深度推定が実施された。
• 本手法は、歪みのある再構成を生じさせ、表面視を処理できないという問題を抱える、Hongら[15]の先行手法を上回った。図8にその例を示す。