[論文レビュー] Improving Deep Facial Phenotyping for Ultra-rare Disorder Verification Using Model Ensembles

Alexander Hustinx, Fabio Hellmann+5 more|arXiv (Cornell University)|Nov 12, 2022

Genomic variations and chromosomal abnormalities被引用数 5

ひとこと要約

本論文は、GestaltMatcherの古くなったアーキテクチャをiResNet-ArcFaceに置き換え、テスト時増強（TTA）を強化したモデルアンサンブルを導入することで、深層顔面表現解析における超希少疾患の検証を改善した。アンサンブルは最先端の性能を達成し、既知の疾患ではトップ1正答率が52.99%、未知の超希少疾患では35.98%まで向上した。

ABSTRACT

Rare genetic disorders affect more than 6% of the global population. Reaching a diagnosis is challenging because rare disorders are very diverse. Many disorders have recognizable facial features that are hints for clinicians to diagnose patients. Previous work, such as GestaltMatcher, utilized representation vectors produced by a DCNN similar to AlexNet to match patients in high-dimensional feature space to support "unseen" ultra-rare disorders. However, the architecture and dataset used for transfer learning in GestaltMatcher have become outdated. Moreover, a way to train the model for generating better representation vectors for unseen ultra-rare disorders has not yet been studied. Because of the overall scarcity of patients with ultra-rare disorders, it is infeasible to directly train a model on them. Therefore, we first analyzed the influence of replacing GestaltMatcher DCNN with a state-of-the-art face recognition approach, iResNet with ArcFace. Additionally, we experimented with different face recognition datasets for transfer learning. Furthermore, we proposed test-time augmentation, and model ensembles that mix general face verification models and models specific for verifying disorders to improve the disorder verification accuracy of unseen ultra-rare disorders. Our proposed ensemble model achieves state-of-the-art performance on both seen and unseen disorders.

研究の動機と目的

• 限られた患者画像に基づく超希少遺伝性疾患の診断の課題に対処するため、深層顔面表現解析モデルの性能を向上させること。
• 古くなったアーキテクチャと転移学習データセットに依存する既存のモデル（例：GestaltMatcher）の限界を克服すること。
• アーキテクチャの更新、正則化、推論時戦略を用いて、未知の超希少疾患に対する汎化性能と性能を向上させること。
• 一般顔認識モデルと疾患固有モデルを統合した堅牢なモデルアンサンブルを開発し、既知および未知の症候群の両方で正答率を向上させること。

提案手法

• GestaltMatcherのDCNNをiResNet-50およびiResNet-100に置き換え、顔表現学習の向上を図るためにArcFace損失を適用する。
• 顔認識データセット（例：Glint360K、MS-Celeb-1M）を多様に用いて転移学習の評価を行い、顔面表現解析における最適な事前学習データを同定する。
• テスト時増強（TTA）を適用し、テスト画像の色変換および水平反転バージョンを生成することで、モデルのロバスト性と一貫性を向上させる。
• 複数のモデル（一般顔認識モデルと疾患固有に微調整されたモデル）の予測を統合するモデルアンサンブルを実装する。
• 増強されたテスト画像とギャラリー画像の表現ベクトル間のコサイン距離を用いて類似度スコアを計算する。
• すべての増強済みおよびモデル予測された表現からの距離ベクトルを平均化して結果を集約し、最終的な順位付けを生成する。

実験結果

リサーチクエスチョン

• RQ1 GestaltMatcherのベースアーキテクチャと損失関数を置き換えることで、既知および未知の超希少疾患における性能にどのような影響を与えるか？
• RQ2 どの顔認識データセットが、希少遺伝性疾患の深層顔面表現解析において最も優れた転移学習性能を示すか？
• RQ3 テスト時増強（TTA）は、未知の超希少疾患に対する顔認識モデルのロバスト性と正答率を向上させることができるか？
• RQ4 アンサンブル学習を用いて一般顔認識モデルと疾患固有モデルを統合することで、既知および未知の症候群の両方での性能向上が達成できるか？
• RQ5 ドロップアウトやL2重み減衰といった正則化技術は、未知疾患に対する過学習をどれほど緩和し、汎化性能を向上させることができるか？

主な発見

• Glint360Kで事前学習したiResNet-ArcFaceモデルは、すべての指標で元のGestaltMatcherベースラインを上回り、特に未知疾患において顕著な向上を示した。
• GMDBで微調整した結果、既知疾患（GMDB-Frequent）のトップ1正答率は49.25%まで向上したが、未知疾患（GMDB-Rare）では性能が低下し、過学習の兆候が確認された。
• テスト時増強（TTA）は、ほぼすべてのモデルで正答率を向上させ、特にアンサンブル構成で最も顕著な向上が観察された。
• TTAを適用した最終的なモデルアンサンブルは、GMDB-Frequentで52.99%、GMDB-Rareで35.98%という最先端のトップ1正答率を達成し、ベースライン（15.96%および19.26%）を著しく上回った。
• 特徴層におけるドロップアウトおよびL2重み減衰による正則化は、未知疾患に対する性能向上に寄与し、L2重み減衰は一貫した正の効果を示した。
• アンサンブル戦略は、一般顔認識モデルと疾患固有モデルの長所を効果的に統合し、既知および未知の症候群の両方でロバスト性と汎化性能を向上させた。