[論文レビュー] 3D Medical Point Transformer: Introducing Convolution to Attention Networks for Medical Point Cloud Analysis

Jianhui Yu, Chaoyi Zhang+6 more|arXiv (Cornell University)|Dec 9, 2021

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 22

ひとこと要約

本稿では、畳み込み特徴要約とマルチグラフリーズニングを統合することで局所的およびグローバルな特徴抽出を向上させる、3D医療ポイントクラウド解析を目的とした新しいTransformerベースのモデル3DMedPTを提案する。このモデルは、分類およびセグメンテーションの分野でIntrAベンチマークで最先端の性能を達成しており、ModelNet40 や ShapeNetPart といった一般的な3Dポイントクラウドデータセットに対しても優れた汎化性能を示す。

ABSTRACT

General point clouds have been increasingly investigated for different tasks, and recently Transformer-based networks are proposed for point cloud analysis. However, there are barely related works for medical point clouds, which are important for disease detection and treatment. In this work, we propose an attention-based model specifically for medical point clouds, namely 3D medical point Transformer (3DMedPT), to examine the complex biological structures. By augmenting contextual information and summarizing local responses at query, our attention module can capture both local context and global content feature interactions. However, the insufficient training samples of medical data may lead to poor feature learning, so we apply position embeddings to learn accurate local geometry and Multi-Graph Reasoning (MGR) to examine global knowledge propagation over channel graphs to enrich feature representations. Experiments conducted on IntrA dataset proves the superiority of 3DMedPT, where we achieve the best classification and segmentation results. Furthermore, the promising generalization ability of our method is validated on general 3D point cloud benchmarks: ModelNet40 and ShapeNetPart. Code is released.

研究の動機と目的

• 病理的構造が不完全な複雑で不規則的かつトポロジーが多様な3D医療ポイントクラウドの解析に課題を提示する。
• PointNet などの既存のMLPベースのモデル（例：PointNet）が、医療データにおける長距離依存関係や表現力のある形状特徴を捉えることに限界を示すのを克服する。
• 医療データセットの典型的な低データ環境において、位置埋め込みとマルチグラフリーズニングを導入することで特徴抽出を向上させる。
• 医療用ポイントクラウドで優れた性能を発揮するとともに、一般的な3Dポイントクラウドベンチマークに対しても効果的に汎化するモデルを設計する。

提案手法

• 自己注意機構内に畳み込み層を統合し、局所的コンテキストを要約し、包括的な幾何的特徴を生成する。
• 注意計算の前にクエリ特徴に局所的近傍コンテキストを補完することで、コンテキスト認識を強化する。
• 不規則な医療ポイントクラウドにおける正確な局所幾何をモデル化するため、クエリ、キー、バリューの投影に学習可能な位置埋め込みを適用する。
• 学習可能な隣接行列を備えた複数のチャネルグラフを学習するマルチグラフリーズニング（MGR）を提案し、チャネル間でのグローバルな特徴伝搬を可能にする。
• 最適な特徴要約を実現するため、注意機構でソフトマックス正規化を適用し、実証的に検証する。
• データオーグメンテーションとユニットキューブ正規化を用いて、医療および一般的な3Dデータセット上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、3D医療ポイントクラウドにおける複雑で多様な解剖的トポロジーを効果的にモデル化できるか？
• RQ2 低ショット医療ポイントクラウド学習において、局所的幾何的コンテキストとグローバルな特徴相互作用をどのように同時に最適化できるか？
• RQ3 位置埋め込みとマルチグラフリーズニングは、医療ポイントクラウド解析における特徴表現をどの程度向上できるか？
• RQ4 提案されたモデルは、ModelNet40 や ShapeNetPart といった非医療用3Dポイントクラウドベンチマークに対しても、うまく汎化できるか？

主な発見

• 3DMedPTはIntrA分類ベンチマークで最高のF1スコア0.922を達成し、すべてのベースラインを上回った。
• IntrAセグメンテーションタスクでは、複雑または小さな構造のケースでわずかな誤差を除き、非常に正確な結果を生成した。
• RetinalOCT（2Dポイントクラウドに変換済み）では90.9％の精度を達成し、データ変換の制限にもかかわらずPointNet や DGCNN を上回った。
• AdrenalMNIST3Dでは79.1％の精度を記録し、ポイントベースのモデルの中で2位となり、AutoKerasの性能に近づいた。
• 一般的な3Dポイントクラウドデータセットに対しても、ModelNet40 や ShapeNetPart で強力な結果を達成し、優れた汎化性能を示した。
• 広範なアブレーション実験の結果、ソフトマックス正規化が最良の注意性能を示し、Ck=32 かつ h=8 が最適な注意ヘッド構成であることが判明した。