[論文レビュー] A Multi-Task Self-Normalizing 3D-CNN to Infer Tuberculosis Radiological Manifestations

Pedro M. Gordaliza, J.J. Vaquero+3 more|arXiv (Cornell University)|Jul 29, 2019

COVID-19 diagnosis using AI参考文献 9被引用数 3

ひとこと要約

本稿では、セレクト型活性化関数（SELU）と不確実性重み付き損失を用いたマルチタスク自己正規化3次元畳み込みニューラルネットワーク（3D-CNN）を提案し、CTスキャンから結核のレントゲン所見を推定する。F₁スコアは0.9以上を達成し、石灰化巣数の予測では平均二乗誤差（RMSE）が1.16にとどまり、バッチ正規化やハイパーパrameterチューニングの必要性が低減されたベースラインモデルを上回る性能を示した。

ABSTRACT

We propose a learning method well-suited to infer the presence of Tuberculosis (TB) manifestations on Computer Tomography (CT) scans mimicking the radiologist reports. Latent features are extracted from the CT volumes employing the V-Net encoder and those are the input to a Feed-Forward Neural Network (FNN) for multi-class classification. To overtake the issues (e.g., exploding/vanishing gradients, lack of sensibility) that normally appear when training deep 3D models with datasets of limited size and composed of large volumes, our proposal employs: 1) At the network architecture level, the scaled exponential linear unit (SELU) activation which allows the network self-normalization, and 2) at the learning phase, multi-task learning with a loss function weighted by the task homoscedastic uncertainty. The results achieve F1-scores close to or above 0.9 for the detection of TB lesions and a Root Mean Square Error of 1.16 for the number of nodules.

研究の動機と目的

• 画像分類マスクを必要とせず、CTスキャンにおける結核のレントゲン所見を放射線科医の報告書に類似させる深層学習モデルの開発。
• 小規模で高次元のCTデータセットにおける深層3D-CNNの訓練に伴う課題、例えば消失・爆発勾配や感度の低さに対処すること。
• マルチタスク学習における損失重みの手動チューニングに依存する必要を減らすこと。
• 自己正規化特性と不確実性ベースの損失重み付けを統合することで、モデルの一般化性能と収束性を向上させること。
• 臨床的および公衆衛生的用途に向け、結核のレントゲンバイオマーカーを自動かつ堅牢に抽出すること。

提案手法

• モデルは、1×1×2 mmの等方的解像度でCTスキャンから3次元ボリューム特徴を抽出するV-Netエンコーダを用いる。
• 潜在的特徴は共有のフィードフォワードニューラルネットワーク（FNN₁）に供給され、その後、回帰（石灰化巣数）と二値分類（結核所見）のタスク固有のFNNが接続される。
• 自己正規化特性を実現するために、スケーリング指数線形ユニット（SELU）を活性化関数として使用し、バッチ正規化の必要性を排除する。
• 確率的正則化下でも自己正規化性を維持するため、標準ドロップアウトの代わりにアルファドロップアウトを適用する。
• 均質的不確実性重み付き損失関数を用い、訓練中に各タスク（回帰と二値分類）の寄与度を動的に調整することで、損失の安定性と収束性を向上させる。
• 限られたデータに対する耐性を高めるために、訓練中にエラスティック変換とガウスノイズによるデータ拡張を実施する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクを必要とせず、自己正規化3D-CNNがCTスキャンから結核のレントゲン所見を的確に推定できるか？
• RQ2 SELU活性化関数と不確実性重み付きマルチタスク学習が、小規模で高次元の医療画像データセットにおけるモデルの収束性と性能を向上させるか？
• RQ3 本手法は、従来のバッチ正規化とPReLUベースのアーキテクチャと比較して、結核病変検出におけるF₁スコアと回帰誤差の点で優れているか？
• RQ4 不確実性重み付き損失が、マルチタスク学習におけるタスク重みの手動ハイパーパrameterチューニングの必要性をどの程度低減させるか？
• RQ5 5分割交差検証において、回帰および二値分類タスクの両方で高い性能を維持しつつ、モデルが十分に一般化できるか？

主な発見

• 提案されたSELUベースのモデルは、全ラーブスで結核所見の二値分類において平均F₁スコア0.90を達成し、個々のタスクのF₁スコアは0.88〜0.94の範囲であった。
• 全foldで石灰化巣数予測の平均二乗誤差（RMSE）は0.68を記録し、BN+PReLUベースライン（RMSE = 0.78）を顕著に上回った。
• SELUモデルは、図2の損失曲線から示されるように、全foldでバリデーション損失の収束が改善されており、より安定的かつ低い損失値を示した。
• 対応t検定では、モデル間で有意差は認められず（p > 0.05）、fold間で一貫した性能向上が確認された。
• 全foldで「木の枝の像」（tree in bud）のF₁スコアは0.92、「実質化」（consolidation）は0.91を達成し、希少または微細な結核所見に対しても優れた性能を示した。
• SELUと不確実性重み付き損失の使用により、バッチ正規化や手動による損失重みチューニングの必要性が低減され、トレーニングの簡素化と計算複雑性の低減が達成された。