[논문 리뷰] Dense Transformer Networks

Li Jun, Yongjun Chen외 3명|arXiv (Cornell University)|2017. 05. 24.

Advanced Neural Network Applications참고 문헌 27인용 수 15

한 줄 요약

이 논문은 밀도 높은 예측 작업을 위해 데이터에 의존하는 패치 형상과 크기를 학습하는 데 전용으로 설계된 엔드 투 엔드 학습 가능한 아키텍처인 디ensa 트랜스포머 네트워크(DTN)를 제안한다. 인코더 및 디코더 경로에 비선형 공간 트랜스포머를 사용함으로써, DTN은 비정규적인 패치 형상을 학습할 수 있다. 비선형적 공간 변환을 통해 적응형 수신 영역을 학습하고, 미분 가능한 디코더 레이어를 통해 공간 대응 관계를 복원함으로써, 추론 시간이 약간 증가하는 것 외에는 상태 기반 성능을 달성한다.

ABSTRACT

The key idea of current deep learning methods for dense prediction is to apply a model on a regular patch centered on each pixel to make pixel-wise predictions. These methods are limited in the sense that the patches are determined by network architecture instead of learned from data. In this work, we propose the dense transformer networks, which can learn the shapes and sizes of patches from data. The dense transformer networks employ an encoder-decoder architecture, and a pair of dense transformer modules are inserted into each of the encoder and decoder paths. The novelty of this work is that we provide technical solutions for learning the shapes and sizes of patches from data and efficiently restoring the spatial correspondence required for dense prediction. The proposed dense transformer modules are differentiable, thus the entire network can be trained. We apply the proposed networks on natural and biological image segmentation tasks and show superior performance is achieved in comparison to baseline methods.

연구 동기 및 목표

• 기존의 딥 러닝 모델이 밀도 높은 예측 작업에 대해 고정된 정규 수신 영역을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 추론 도중 각 픽셀의 맥락을 위한 패치 크기와 형상을 데이터 기반으로 학습할 수 있도록 하기 위해.
• 비선형 공간 변환을 사용함에도 불구하고 입력 이미지와 출력 레이블 맵 간의 공간 대응 관계를 유지하기 위해.
• 공간 트랜스포머를 인코더-디코더 아키텍처에 통합한, 미분 가능하고 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 기본 모델인 U-Net과 비교하여 자연 이미지 및 생물학적 이미지 분할 작업에서 향상된 성능을 보여주기 위해.

제안 방법

• 인코더 및 디코더 경로에 비선형 공간 변환(예: 투명판 스플라인)을 적용한 밀도 높은 트랜스포머 모듈을 도입하여, 비정규적이고 적응형 패치 형상을 학습한다.
• 인코더에 공간 트랜스포머 레이어를 적용하여 특징 맵을 변환된 공간으로 매핑함으로써, 기존 공간에서 비정규 패치에 대해 컨볼루션과 풀링 연산을 수행한다.
• 기존 공간에서의 특징 맵 간의 공간 대응 관계를 복원하기 위해, 새로운 비가역적 변환 및 보간을 수행하는 미분 가능한 디코더 레이어를 개발한다.
• 디코더에서 보간 기반 샘플링을 사용하여 변환된 특징 위치를 정규 출력 격자로 매핑함으로써 픽셀 단위의 정렬을 보장한다.
• 인코더 및 디코더 구성 요소를 모두 거쳐 역전파를 수행하는 엔드 투 엔드 학습 전략을 적용하여 공동 최적화를 가능하게 한다.
• 분할 작업을 위해 U-Net 유사 인코더-디코더 프레임워크에 밀도 높은 트랜스포머 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 고정된 정규 수신 영역에 의존하는 대신, 밀도 높은 예측을 위한 최적의 데이터 기반 패치 형상과 크기를 학습할 수 있는가?
• RQ2 밀도 높은 예측 네트워크에서 비선형 공간 변환을 사용할 경우, 입력 이미지와 출력 레이블 맵 간의 공간 대응 관계를 어떻게 유지할 수 있는가?
• RQ3 미분 가능하고 학습 가능한 공간 트랜스포머 모듈이 엔드 투 엔드 학습을 위해 인코더 및 디코더 경로에 효과적으로 통합될 수 있는가?
• RQ4 적응형 수신 영역을 사용할 경우, 과도한 자연 및 생물학적 전자현미경 이미지 데이터셋에서 분할 정확도가 향상되는가?
• RQ5 학습 및 추론 시간 측면에서 학습 가능한 공간 변환을 도입할 경우 계산 비용은 얼마나 되는가?

주요 결과

• 제안된 디ensa 트랜스포머 네트워크(DTN)는 SNEMI3D 뇌 전자현미경 이미지 분할 작업에서 AUC 0.8953을 달성하여 기준 U-Net 모델(0.8676 AUC)을 능가한다.
• PASCAL VOC 2012 데이터셋에서 DTN은 U-Net보다 뛰어난 분할 성능을 보이며, 정성적 결과는 더 정확한 경계 예측을 나타낸다.
• DTN 모듈을 추가함으로써 PASCAL에서 학습 시간은 6.1% 증가하고, SNEMI3D에서는 10.7% 증가하였으며, 추론 시간은 각각 13.2%와 9.1% 증가하였다.
• 새로운 보간 기반 디코더 레이어를 통해 비선형 변환에도 불구하고 공간 대응 관계를 성공적으로 유지하여, 비선형 변환에도 불구하고 정확한 픽셀 단위의 예측이 가능해졌다.
• 모델은 도메인 간 일반화 능력을 보이며, 자연 이미지와 복잡한 생물학적 전자현미경 이미지 양쪽 모두에서 향상된 결과를 달성하였다.
• 제거 실험을 통해 학습된 수신 영역이 적응적이고 데이터 기반임을 확인하였으며, 다양한 이미지 영역에서 패치 형상이 달라지는 것으로 나타났다.