[논문 리뷰] Automatically Searching for U-Net Image Translator Architecture

Han Shu, Yunhe Wang|arXiv (Cornell University)|2020. 02. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 7

한 줄 요약

이 논문은 채널 수와 스킵 커넥션을 조정하여 U-Net 기반 이미지 번역기의 자동 최적화를 위한 진화 알고리즘 기반 신경망 아키텍처 탐색 방법을 제안한다. 이 방법은 원래 U-Net보다 파rameter 수와 FLOPs가 적은 더 효율적인 아키텍처를 발견하여, 지도 없는 전이(예: 지도 및 풍경도)와 같은 새로운 데이터셋으로의 일반화 능력까지 확보한 상태에서 이미지 간 번역 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Image translators have been successfully applied to many important low level image processing tasks. However, classical network architecture of image translator like U-Net, is borrowed from other vision tasks like biomedical image segmentation. This straightforward adaptation may not be optimal and could cause redundancy in the network structure. In this paper, we propose an automatic architecture searching method for image translator. By utilizing evolutionary algorithm, we investigate a more efficient network architecture which costs less computation resources and achieves better performance than the original one. Extensive qualitative and quantitative experiments are conducted to demonstrate the effectiveness of the proposed method. Moreover, we transplant the searched network architecture to other datasets which are not involved in the architecture searching procedure. Efficiency of the searched architecture on these datasets further demonstrates the generalization of the method.

연구 동기 및 목표

• 이미지 간 번역을 위한 수작업으로 설계된 U-Net 아키텍처의 비효율성과 부족함을 해결하기 위해.
• 채널 수와 스킵 커넥션에 중점을 두어 U-Net 생성자에 맞는 맞춤형 신경망 아키텍처 탐색 방법을 개발하기 위해.
• 모델 성능과 계산 비용(FLOPs, 파라미터 수) 사이의 트레이드오프를 최적화하기 위해.
• 탐색 과정에서 사용되지 않은 데이터셋에 대해 탐색된 아키텍처의 일반화 능력을 평가하기 위해.

제안 방법

• 채널 수와 스킵 커넥션 존재 여부를 유전자 표현(genotype encoding)으로 사용하여 최적의 U-Net 생성자 아키텍처를 탐색하기 위해 진화 알고리즘을 사용한다.
• 탐색 공간은 인코더 및 디코더 레이어의 가변적인 채널 차원과 대칭 레이어 간의 스킵 커넥션 존재 여부에 대한 이진 결정을 포함한다.
• 적합도 평가 기준은 검증 손실과 FLOPs이며, 성능과 효율성 사이의 균형을 맞추기 위해 정규화 계수 γ를 사용한다.
• 탐색은 Cityscapes 데이터셋에서 수행되며, 최적의 아키텍처는 검색 과정을 재실행하지 않고도 다른 쌍체 이미지 간 번역 데이터셋으로 이식된다.
• 세대에 걸쳐 돌연변이와 교차와 같은 유전적 연산을 적용하여 아키텍처를 진화시킨다.
• 최종 아키텍처는 세분화 및 이미지 번역 메트릭스(예: Fréchet Inception Distance (FID) 및 FID 점수)를 기준으로 평가된다.

실험 결과

연구 질문

• RQ1 자동 아키텍처 탐색 방법이 수작업 설계된 원래 U-Net보다 더 효율적이고 정확한 U-Net 생성자를 발견할 수 있는가?
• RQ2 탐색된 아키텍처에서 채널 분포와 스킵 커넥션 패턴은 표준 U-Net과 어떻게 다를까? 이는 성능에 어떤 영향을 미치는가?
• RQ3 탐색된 아키텍처는 탐색 데이터셋 외부의 이미지 간 번역 작업에 잘 일반화되는가?
• RQ4 탐색된 아키텍처에서 모델 효율성(FLOPs, 파라미터 수)과 성능(FID, 세분화 정확도 등) 사이의 트레이드오프는 어떠한가?
• RQ5 진화 탐색 방법이 스킵 커넥션과 대칭 인코더-디코더 블록을 가진 복잡한 구조적 아키텍처인 U-Net을 효과적으로 최적화할 수 있는가?

주요 결과

• 탐색된 아키텍처는 Cityscapes 데이터셋에서 원래 U-Net보다 낮은 Fréchet Inception Distance (FID) 점수를 기록하여 더 나은 이미지 번역 품질을 나타낸다.
• 탐색된 모델은 원래 U-Net 대비 30% 적은 파라미터 수와 20% 적은 FLOPs를 가지며, 세분화 정확도에서도 뛰어난 성능을 보인다.
• 아키텍처는 표준 U-Net의 복잡도가 높아지는 병목부에서 채널 수가 증가하는 패턴을 따르지 않는다. 대신 얕은 레이어에서 더 많은 채널을 사용하고 깊은 레이어에서는 더 적은 채널을 사용한다.
• 스킵 커넥션은 선택적으로 유지되며, 첫 번째와 세 번째 스킵 커넥션만 유지되어 장거리 스킵 커넥션이 단거리 스킵 커넥션보다 더 중요하다는 것을 시사한다.
• 탐색된 아키텍처는 새로운 데이터셋으로의 일반화 능력이 뛰어나며, 검색 과정을 재실행하지 않고도 지도에서 위성 이미지로, 그리고 풍경도에서 실제 이미지로의 번역 작업에서 원래 U-Net을 능가하는 성능을 보였다.
• 이 방법은 원래 U-Net에서의 파라미터 부족함이 심각하며, 더 적고 전략적으로 배치된 채널과 연결을 통해 효율적인 성능을 달성할 수 있음을 발견했다.