[논문 리뷰] BiO-Net: Learning Recurrent Bi-directional Connections for Encoder-Decoder Architecture

Tiange Xiang, Chaoyi Zhang외 4명|ArXiv.org|2020. 07. 01.

Advanced Neural Network Applications참고 문헌 26인용 수 6

한 줄 요약

BiO-Net는 U-Net 아키텍처를 위한 매개변수 없는 반복적 이중방향 스킵 연결 메커니즘을 제안하며, 인코더와 디코더 간 O자 모양의 추론 경로를 통해 특징의 반복적 개선을 가능하게 한다. 기존 네트워크 블록을 재사용함으로써 추가 매개변수 없이도 다양한 데이터셋에서 세분화 및 초해상도 분석 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

U-Net has become one of the state-of-the-art deep learning-based approaches for modern computer vision tasks such as semantic segmentation, super resolution, image denoising, and inpainting. Previous extensions of U-Net have focused mainly on the modification of its existing building blocks or the development of new functional modules for performance gains. As a result, these variants usually lead to an unneglectable increase in model complexity. To tackle this issue in such U-Net variants, in this paper, we present a novel Bi-directional O-shape network (BiO-Net) that reuses the building blocks in a recurrent manner without introducing any extra parameters. Our proposed bi-directional skip connections can be directly adopted into any encoder-decoder architecture to further enhance its capabilities in various task domains. We evaluated our method on various medical image analysis tasks and the results show that our BiO-Net significantly outperforms the vanilla U-Net as well as other state-of-the-art methods. Our code is available at https://github.com/tiangexiang/BiO-Net.

연구 동기 및 목표

• 기존의 새로운 기능 블록이나 매개변수를 추가함으로써 증가하는 U-Net 변종의 모델 복잡도 문제를 해결하기 위해.
• 기울기 유지와 다중 해상도 특징 재사용을 가능하게 하는 새로운 반복 메커니즘을 통해 인코더-디코더 아키텍처의 특징 개선을 향상시키기 위해.
• 모델 크기나 추론 비용을 늘리지 않고도 다양한 비전 작업에서 성능을 향상시키는 경량의 매개변수 없는 향상 기법을 개발하기 위해.
• 인코더와 디코더 간 이중방향적이고 반복적인 특징 흐름을 가능하게 하여 더 나은 표현 학습을 달성하기 위해.

제안 방법

• 인코더와 디코더 블록 간 O자 모양의 추론 경로를 형성하는 짝지어진 정방향 및 역방향 스킵 연결을 도입한다.
• 동일한 네트워크 가중치를 여러 추론 단계에서 재사용함으로써 추가 학습 가능한 매개변수 없이도 반복적 개선을 가능하게 한다.
• 반복적 특징 전파를 적용한다: 디코딩된 특징이 다시 인코더로 매핑되며, 각 수준의 특징을 개선하기 위해 총 t회 반복한다.
• 정방향 및 역방향 스킵 연결을 통해 기울기 흐름을 유지함으로써 다양한 의미 수준 간의 특징 표현 학습을 향상시킨다.
• U-Net에 국한되지 않고 어떤 인코더-디코더 모델과도 아키텍처적으로 호환되며, 광범위한 적용 가능성을 제공한다.
• 표준 컨벌루션, 배치 정규화, 활성화 레이어를 사용하며, 다운샘플링은 최대 풀링, 업샘플링은 역컨벌루션을 통해 수행한다.

실험 결과

연구 질문

• RQ1 매개변수를 추가하지 않고도 반복적 이중방향 스킵 연결이 U-Net의 특징 개선에 기여할 수 있는가?
• RQ2 인코더와 디코더 수준 간의 반복적 특징 재사용이 세분화 및 초해상도 성능에 어떤 영향을 미치는가?
• RQ3 제안된 O자 모양의 추론 경로가 표준 스킵 연결에 비해 기울기를 유지하고 표현 학습을 향상시키는가?
• RQ4 제안된 메커니즘이 동일하거나 감소된 모델 크기로 기존 U-Net 변종 및 최신 기준 모델을 초월할 수 있는가?

주요 결과

• BiO-Net는 MoNuSeg 세포핵 세분화 데이터셋에서 U-Net, U-Net++, 어텐션 U-Net, R2U-Net를 모두 능가하는 최신 기준 성능을 달성했다.
• TNBC 데이터셋에서 t=3 반복일 경우 BiO-Net는 딜스 점수 0.758을 기록하여 다음으로 우수한 방법(0.751)과 U-Net(0.623)을 앞섰다.
• EM 막 세분화에서 t=3일 때 BiO-Net는 스택3에서 랜드 F-스코어 0.958, 스택4에서 0.887을 기록했으며, U-Net(0.939 및 0.821)과 U-Net++(0.940 및 0.844)를 모두 초월했다.
• 초해상도 작업에서는 BiO-Net가 FSRCNN과 SRResNet보다 PSNR에서 뛰어난 성능을 보였으며, 정성적 결과에서도 뛰어난 세부 사항 복원 능력을 보였다.
• 제거 분석 결과, 추론 반복 횟수(t)를 늘릴수록 성능 향상이 나타나며, 특히 모델 용량이 제한된 경우 두드러졌다.
• 놀랍게도 BiO-Net를 적용한 얕은 인코더가 깊은 인코더보다 더 좋은 성능을 냈으며, 깊이만으로 성능 향상이 보장되지 않는다는 점을 시사했다.