[論文レビュー] DeepDefacer: Automatic Removal of Facial Features via U-Net Image Segmentation

Anish Khazane, Julien Hoachuck+2 more|arXiv (Cornell University)|May 31, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

DeepDefacer は、Pydeface よりも 91% 速く、標準の 3D U-Net よりも 92% 少ないパラメータで、顔領域をセグメンテーションおよびマスク処理する軽量な 3D U-Net ディープラーニングモデルを提案する。高いセグメンテーション精度を維持しながら、従来のコアジストレーション手法よりも顔面の異常構造に優れた一般化性能を示す。

ABSTRACT

Recent advancements in the field of magnetic resonance imaging (MRI) have enabled large-scale collaboration among clinicians and researchers for neuroimaging tasks. However, researchers are often forced to use outdated and slow software to anonymize MRI images for publication. These programs specifically perform expensive mathematical operations over 3D images that rapidly slow down anonymization speed as an image's volume increases in size. In this paper, we introduce DeepDefacer, an application of deep learning to MRI anonymization that uses a streamlined 3D U-Net network to mask facial regions in MRI images with a significant increase in speed over traditional de-identification software. We train DeepDefacer on MRI images from the Brain Development Organization (IXI) and International Consortium for Brain Mapping (ICBM) and quantitatively evaluate our model against a baseline 3D U-Net model with regards to Dice, recall, and precision scores. We also evaluate DeepDefacer against Pydeface, a traditional defacing application, with regards to speed on a range of CPU and GPU devices and qualitatively evaluate our model's defaced output versus the ground truth images produced by Pydeface. We provide a link to a PyPi program at the end of this manuscript to encourage further research into the application of deep learning to MRI anonymization.

研究の動機と目的

• Pydeface などの従来の MRI 匿名化ツールが、遅いコアジストレーションと数値最適化に依存するため生じる非効率性と計算負荷を解消すること。
• 剛体変換行列に依存する古典的手法が、顔面の異常や低解像度を示す MRI スキャンに対して失敗するという限界を克服すること。
• 非標準的な顔面解剖学を持つスキャンを含め、多様な MRI スキャンに一般化可能なディープラーニングベースのソリューションを開発すること。
• クラウドインfraストラクチャーや複雑なソフトウェアスタックを必要としない、ローカルデバイスでの高速なデフェースティングを可能にすることで、研究者の参入障壁を低減すること。
• 広範な採用とフィードバック駆動のモデル改善を支援するため、PyPI および将来的な Web 統合を通じて使いやすいオープンソースツールを提供すること。

提案手法

• IXI および ICBM データセットから得た、ペアドされた MRI スキャンとバイナリーマスクを用いて、顔領域のエンドツーエンドセグメンテーションを学習する 3D U-Net アーキテクチャを訓練する。
• 推論速度の向上とメモリフットプリントの削減を目的として、フィルターサイズとパラメータ数を削減した完全畳み込み型で洗練されたアーキテクチャを採用する。
• トレーニング中に、Pydeface が生成したグランドトゥルースマスクを監視として用い、既存のデフェースティング基準と整合するようにする。
• 予測されたバイナリーマスクを元の MRI 画像と要素ごとの乗算により適用して、最終的なデフェースト出力を得る。
• クラウド依存性のない個人用ワークステーションへのデプロイを可能にするために、CPU および GPU 推論の最適化を実施する。
• TensorFlow.js を使用して、将来的な Web ベースのインターフェースに統合し、ブラウザ内での推論を可能にすることで、データプライバシーを保持する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのセグメンテーションモデルは、Pydeface のような従来のコアジストレーション手法に比べて、処理速度と頑健性において優れているか？
• RQ2 軽量な 3D U-Net は、標準の 3D U-Net と比較して、セグメンテーション精度とパラメータ効率の面でどのように異なるか？
• RQ3 ディープラーニングモデルは、古典的手法が挑戦を受ける顔面の異常を示す MRI スキャンに対して、どの程度一般化できるか？
• RQ4 既存のソフトウェアと比較して、計算およびメモリのオーバーヘッドを著しく削減しながら、高いデフェースティング精度を達成できるか？
• RQ5 オープンソースおよび Web ベースのデプロイによって、非エキスパートユーザーが利用可能なディープラーニングベースの匿名化ツールはどのように実現できるか？

主な発見

• DeepDefacer は、さまざまな CPU および GPU デバイスで、Pydeface よりも平均 91% の高速化を達成し、標準的なハードウェアでもリアルタイムでのデフェースティングを可能にする。
• モデルはベースラインの 3D U-Net と比較して、92% 少ないパラメータを用いるため、メモリフットプリントが著しく削減される。
• 顔面の異常を示す MRI スキャンの処理において、Pydeface よりも優れた性能を示し、Pydeface が誤ったアフィン変換により失敗する状況でも、より正確なマスクを生成する。
• 定量的評価では、DeepDefacer は IXI および ICBM データセットで高い Dice スコア、精度、再現率を達成しており、強力なセグメンテーション性能を示している。
• 定性的な分析により、非標準的な顔面構造を示すケースにおいても、より一貫性があり解剖学的に妥当なデフェースティング結果を生成することが確認された。
• 小さなフィルターサイズとエンドツーエンドトレーニングに起因するアーモルスなマスク構造により、顔領域の除去という主な目的を損なわず、一般化性能が向上している。