[論文レビュー] BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture

Tiange Xiang, Chaoyi Zhang+4 more|ArXiv.org|Jul 1, 2020

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

BiO-Net は、U-Net アーキテクチャ向けにパラメータフリーの再帰的双方向スキップ接続メカニズムを提案し、エンコーダーとデコーダー間の O 字型の推論軌跡を通じて特徴量の反復的精錬を可能にした。既存のネットワークブロックを再利用することでパラメータを追加せずに、複数のデータセットにおいてセマンティックセグメンテーションおよびスーパーレゾリューションタスクで最先端の性能を達成した。

ABSTRACT

U-Net has become one of the state-of-the-art deep learning-based approaches for modern computer vision tasks such as semantic segmentation, super resolution, image denoising, and inpainting. Previous extensions of U-Net have focused mainly on the modification of its existing building blocks or the development of new functional modules for performance gains. As a result, these variants usually lead to an unneglectable increase in model complexity. To tackle this issue in such U-Net variants, in this paper, we present a novel Bi-directional O-shape network (BiO-Net) that reuses the building blocks in a recurrent manner without introducing any extra parameters. Our proposed bi-directional skip connections can be directly adopted into any encoder-decoder architecture to further enhance its capabilities in various task domains. We evaluated our method on various medical image analysis tasks and the results show that our BiO-Net significantly outperforms the vanilla U-Net as well as other state-of-the-art methods. Our code is available at https://github.com/tiangexiang/BiO-Net.

研究の動機と目的

• 新しい機能ブロックやパラメータの追加に起因する U-Net 変種におけるモデル複雑度の増大を是正すること。
• 勾配の維持とマルチスケール特徴量の再利用を可能にする新しい再帰的メカニズムを通じて、エンコーダー・デコーダー構造における特徴量精錬を向上させること。
• モデルサイズや推論コストの増加なしに、多様なビジョンタスクで性能を向上させる軽量でパラメータフリーの強化手法を開発すること。
• エンコーダーとデコーダー間で双方向的かつ再帰的な特徴量の流れを可能にし、より良い表現学習を実現すること。

提案手法

• エンコーダーとデコーダーのブロック間で O 字型の推論軌跡を形成するペaired forward および backward スキップ接続を導入する。
• 複数回の推論パスにおいて同じネットワーク重みを再利用することで、追加のトレーニング可能なパラメータを追加せずに再帰的精錬を実現する。
• 反復的特徴量伝搬を適用：デコードされた特徴量をエンコーダーに戻し、各レベルの特徴量を t 回の反復で精錬する。
• 前向きおよび後向きのスキップ接続を介して勾配の流れを維持し、セマンティックレベルに跨る特徴量表現学習を強化する。
• U-Net に限らず、任意のエンコーダー・デコーダー構造とアーキテクチャ的に互換性があり、広範な適用性を有する。
• ダウンサンプリングには max-pooling、アップサンプリングには transposed convolution を用い、標準的な畳み込み層、バッチ正則化、活性化関数を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 パラメータを追加せずに再帰的双方向スキップ接続が U-Net における特徴量精錬を向上させることができるか？
• RQ2 エンコーダーとデコーダーの各レベル間での反復的特徴量再利用が、セグメンテーションおよびスーパーレゾリューション性能に与える影響は何か？
• RQ3 O 字型の推論軌跡は、標準的なスキップ接続と比較して勾配を維持し、表現学習を向上させるか？
• RQ4 提案手法は、同等または低減されたモデルサイズで、既存の U-Net 変種および最先端モデルを上回る性能を達成できるか？

主な発見

• BiO-Net は MoNuSeg の核セグメンテーションデータセットで、U-Net、U-Net++、アテンション U-Net、R2U-Net を上回る最先端の性能を達成した。
• TNBC データセットでは、t=3 の反復で Dice スコアが 0.758 を達成し、次善の手法（0.751）および U-Net（0.623）を上回った。
• EM メンブレンセグメンテーションでは、t=3 の場合、stack3 で Rand F スコア 0.958、stack4 で 0.887 を達成し、U-Net（0.939 および 0.821）および U-Net++（0.940 および 0.844）を上回った。
• スーパーレゾリューションタスクでは、PSNR において FSRCNN や SRResNet を上回り、定性的な結果から優れたディテール回復が得られた。
• アブレーションスタディの結果、推論再帰回数（t）を増やすことで性能が向上することが確認され、特にモデル容量が制限された状況で顕著であった。
• 驚くべきことに、浅いエンコーダーを用いた BiO-Net が、深いエンコーダーを用いた場合よりも優れた結果を示した。これは、深さそのものが性能向上を保証するわけではないことを示唆している。