[論文レビュー] A Smoke Removal Method for Laparoscopic Images

Congcong Wang, Faouzi Alaya Cheikh+2 more|arXiv (Cornell University)|Mar 22, 2018

Image Enhancement Techniques参考文献 18被引用数 12

ひとこと要約

本稿では、低コントラストおよび低チャネル間差異の事前知識を用いて、劣化した画像を煙成分と煙除去済み成分に変分分解する、腹腔鏡画像向けの変分的煙除去手法を提案する。この手法は、これらの事前知識に基づくコスト関数を最小化するために増大ラグランジュ最適化を採用し、定量的指標および視覚的品質の両面で最先端の除霧手法を上回る強化効果を達成した。2つのデータセットにおいて、FADEが最低で、JNBM/REスコアが最高であった。

ABSTRACT

In laparoscopic surgery, image quality can be severely degraded by surgical smoke, which not only introduces error for the image processing (used in image guided surgery), but also reduces the visibility of the surgeons. In this paper, we propose to enhance the laparoscopic images by decomposing them into unwanted smoke part and enhanced part using a variational approach. The proposed method relies on the observation that smoke has low contrast and low inter-channel differences. A cost function is defined based on this prior knowledge and is solved using an augmented Lagrangian method. The obtained unwanted smoke component is then subtracted from the original degraded image, resulting in the enhanced image. The obtained quantitative scores in terms of FADE, JNBM and RE metrics show that our proposed method performs rather well. Furthermore, the qualitative visual inspection of the results show that it removes smoke effectively from the laparoscopic images.

研究の動機と目的

• 腹腔鏡手術における手術用煙が画像品質を著しく低下させるという深刻な問題に対処すること。これは、コンピュータビジョンシステムおよび外科医の視認性の両方に悪影響を及える。
• 大気散乱モデルに基づく従来の除霧手法の限界を克服すること。これらの手法は深度に依存するはだと一定のエアライトを仮定しているが、腹腔鏡環境ではこの仮定が成立しない。
• 腹腔鏡画像に特有の煙の特徴（低コントラスト、チャネル間差異の最小化）を活用して、特定の煙除去アプローチを構築すること。
• 解剖学的詳細と知覚的忠実性を保持しながら、煙を効果的に除去することで、画像誘導手術および術中可視化のための画像品質を向上させること。

提案手法

• 劣化した腹腔鏡画像を煙成分と煙除去済み（強化済み）成分の組み合わせとしてモデル化し、変分的分解フレームワークを用いる。
• 2つの事前知識に基づいてコスト関数を定義する：煙は低コントラストであり、RGBチャネル間の差が小さい。これらの特徴は、煙でない領域をペナルティ化するために用いられる。
• 増大ラグランジュ法を用いて最適化問題を解き、エネルギー関数を効率的に最小化することで収束性と安定性を確保する。
• 煙成分を元の画像から差し引くことで、最終的な強化出力を得る。この際、構造的および色の情報を保持する。
• 深度マップや透過率マップに依存しないため、深度に依存しない煙に対しても適している。
• 主なパラメータには正則化重み（λ=1, βx=βy=βc=1）とペナルティパラメータρ=5が含まれ、滑らかさと忠実度の最適なバランスをとるために調整された。

実験結果

リサーチクエスチョン

• RQ1 物理的大気散乱モデルに依存しない変分的手法が、腹腔鏡画像からの煙除去に有効に機能するか。
• RQ2 低コントラストおよび低チャネル間差異の事前知識は、深度に依存する事前知識と比較して、手術用煙のモデリングにおいてどのように優れているか。
• RQ3 提案手法は、FADE、JNBM、REといった画像品質指標を、最先端の除霧手法と比較してどの程度向上させるか。
• RQ4 実際の腹腔鏡状況において、既存手法と比較して知覚的画像品質および解剖学的詳細の保持をどの程度優れているか。
• RQ5 RE指標で測定した場合、煙に隠されたエッジを効果的に回復できるか。

主な発見

• 提案手法は、Dataset1でFADEスコアが0.23±0.02、Dataset2で0.30±0.05を記録し、知覚的煙密度の最も効果的な低減を示した。
• Dataset1ではJNBMスコアが1.77±0.11、Dataset2では1.16±0.10を記録し、優れた知覚的シャープネスとぼやけの低減を示した。
• Dataset1ではREスコアが0.39±0.07、Dataset2では1.19±0.62を記録し、以前に隠れていたエッジの回復が最も良好であった。
• 定性的な結果から、自然な色再現を実現した効果的な煙除去が可能であり、DCPベースの手法で見られる不自然な色ずれを回避した。
• DCP、F-VAR、E-VARすべての指標および視覚的検査において、本手法が優れていたことから、そのロバスト性と有効性が確認された。
• 従来の除霧モデルとは異なり、深度に依存しない煙に対しても本手法は効果的に対処できた。これにより、腹腔鏡画像への適用適性が裏付けられた。