[論文レビュー] Superhuman Accuracy on the SNEMI3D Connectomics Challenge

Kisuk Lee, Jonathan Zung+3 more|arXiv (Cornell University)|May 31, 2017

Wireless Body Area Networks参考文献 22被引用数 222

ひとこと要約

著者らは長距離アフィニティ予測と新規データ拡張を用いた残差対称型3D U-Netを訓練し、SNEMI3Dのセグメンテーションで人間精度を超えるEM脳画像を達成し、平均アフィニティの凝集を高速な後処理ステップとして補助とします。

ABSTRACT

For the past decade, convolutional networks have been used for 3D reconstruction of neurons from electron microscopic (EM) brain images. Recent years have seen great improvements in accuracy, as evidenced by submissions to the SNEMI3D benchmark challenge. Here we report the first submission to surpass the estimate of human accuracy provided by the SNEMI3D leaderboard. A variant of 3D U-Net is trained on a primary task of predicting affinities between nearest neighbor voxels, and an auxiliary task of predicting long-range affinities. The training data is augmented by simulated image defects. The nearest neighbor affinities are used to create an oversegmentation, and then supervoxels are greedily agglomerated based on mean affinity. The resulting SNEMI3D score exceeds the estimate of human accuracy by a large margin. While one should be cautious about extrapolating from the SNEMI3D benchmark to real-world accuracy of large-scale neural circuit reconstruction, our result inspires optimism that the goal of full automation may be realizable in the future.

研究の動機と目的

• EM画像の自動ニューロンセグメンテーションをSNEMI3Dベンチマークで人間の性能を超えるよう向上させる。
• 現実世界の撮像欠陥を模倣する訓練拡張を開発し頑健性を高める。
• 補助タスク（長距離アフィニティ）を探索して最近傍アフィニティ予測を改善する。
• heavyなテスト時拡張を用いずに平均アフィニティ凝集を後処理として用い、セグメンテーション精度を高める。

提案手法

• 同じ畳み込みとスキップ接続を用いる残差対称型U-Netの変種を提案し、精 3D EM segmentationのための設計を行う。
• 最近傍ボクセル間のアフィニティを訓練し、補助ターゲットとして長距離ボクセルアフィニティを直交軸に沿って予測する。
• ミスアラインメント、欠損セクション、焦点の合っていないセクションなど、画像欠陥を模擬した訓練データ拡張を行う。
• 境界効果を緩和するためにオーバーラップブレンド推論を適用し、必要に応じて回転/反射といったテスト時の拡張と平均アフィニティ凝集を後処理として使用する。
• 入力パッチは1x160x160x18、クラス再加重を伴う二項交差エントロピー、訓練にはAdamオプティマイザを使用；最終セグメンテーションはエッジ重み付きウィサーシュ法と平均アフィニティ凝集を経て得られる。

実験結果

リサーチクエスチョン

• RQ1 extensive3D contextを持つ3D畳み込みネットワークと拡張された訓練データでSNEMI3D上の人間精度を超えることができるか？
• RQ2 長距離アフィニティ予測という補助タスクは最近傍アフィニティ予測の主要タスクを改善するか？
• RQ3 訓練時の拡張と後処理技術はセグメンテーションの性能と撮像欠陥への頑健性にどう影響するか？
• RQ4 平均アフィニティ凝集は大規模なテスト時拡張と比較して現実的に競争力があり、推論オーバーヘッドを低く抑えられる代替案となるか？

主な発見

Group name	Rand error	Trainable parameters	Test-time augmentation	Notes
Ours (test-time aug.)	0.02576	1.5M	16 variants	Top SNEMI3D performance (leaderboard)
Ours (test-time aug.)	0.02590	1.5M	8 variants	Reduced variant with still strong performance
Ours (mean affinity aggl.)	0.03332	1.5M	1 variant	Mean affinity agglomeration postprocessing
Human values	0.05998	–	–	Estimated human accuracy on leaderboard
DIVE	0.06015	18M × 3 models	16 variants × 3 models	Previous leading entry
IAL	0.06561	35M	20 variants	Previous leading entry

• 最良の提出物は、テスト時拡張を用いてRandエラー0.02576を達成し、報告された人間の精度0.05998を上回っている。
• テスト時拡張8 variantを用いた別の変種は0.02590 Randエラーを達成。
• 平均アフィニティ凝集のみで0.03332 Randエラーに達し、テスト時拡張なし。
• SNEMI3Dの人間値は0.05998 Randエラーで、競合法としてDIVEとIALはそれぞれ0.06015と0.06561を達成。
• 長距離アフィニティと包括的なデータ拡張を用いた訓練はベースラインより大幅に性能を向上させる。
• テスト時拡張は大きな利益（推論コストが8-16倍に達する場合あり）を生む一方、平均アフィニティ凝集は推論負荷を抑えつつ強力な利得を提供する。