[논문 리뷰] Visualized Insights into the Optimization Landscape of Fully Convolutional Networks

Jianjie Lu, Raymond Kai‐Yu Tong|arXiv (Cornell University)|2019. 01. 20.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 완전 컨volution 네트워크(FCNs)의 최적화 지형을 시각화하여, 랜덤 방향을 사용해 훈련된 모델 주변의 손실 표면을 투영함으로써 그 통찰을 제공한다. 스위프 레이어 연결이 더 평탄하고 일반화 능력이 뛰어난 손실 지형을 촉진하며, 소규모 배치 훈련은 더 평탄한 최소화점을 가져오고 부드러운 영역을 형성하지만, 대규모 배치 훈련은 날카롭고 혼란스러운 이웃 영역을 가진 날카로운 최소화점을 초래한다—이는 FCN 아키텍처에서 일반화 성능의 차이에 대한 경험적 설명을 제공한다.

ABSTRACT

Many image processing tasks involve image-to-image mapping, which can be addressed well by fully convolutional networks (FCN) without any heavy preprocessing. Although empirically designing and training FCNs can achieve satisfactory results, reasons for the improvement in performance are slightly ambiguous. Our study is to make progress in understanding their generalization abilities through visualizing the optimization landscapes. The visualization of objective functions is obtained by choosing a solution and projecting its vicinity onto a 3D space. We compare three FCN-based networks (two existing models and a new proposed in this paper for comparison) on multiple datasets. It has been observed in practice that the connections from the pre-pooled feature maps to the post-upsampled can achieve better results. We investigate the cause and provide experiments to shows that the skip-layer connections in FCN can promote flat optimization landscape, which is well known to generalize better. Additionally, we explore the relationship between the models generalization ability and loss surface under different batch sizes. Results show that large-batch training makes the model converge to sharp minimizers with chaotic vicinities while small-batch method leads the model to flat minimizers with smooth and nearly convex regions. Our work may contribute to insights and analysis for designing and training FCNs.

연구 동기 및 목표

• 완전 컨볼루션 네트워크(FCNs)의 일반화 행동을 최적화 지형의 시각화를 통해 이해하기 위해.
• 스위프 레이어 연결이 손실 표면 기하학에 미치는 영향을 조사하기 위해.
• 배치 크기가 FCN에서 날카롭거나 평탄한 최소화점으로의 수렴에 미치는 영향을 분석하기 위해.
• 다양한 FCN 아키텍처(예: FCN-16s, FCN-8s, U-Net)의 최적화 지형 특성을 여러 데이터셋에서 비교하기 위해.

제안 방법

• 최적화 지형은 훈련된 모델을 선택하고, 두 개의 랜덤 방향을 사용해 3차원 공간으로 그 지역 주변을 투영함으로써 시각화된다.
• 손실 표면의 날카움 정도는 Cε 측도를 사용해 정량화되며, 이는 모델 가중치 중심에서 반지름 ε인 구형 주변의 손실 평균으로 정의된다.
• 세 가지 FCN 기반 모델—FCN-16s, FCN-8s 및 새로 제안된 모델—이 동일한 훈련 손실을 갖는 여러 데이터셋에서 훈련되고 비교되어 아키텍처의 영향을 분리한다.
• 동일한 모델에 대해 소규모 배치(B2) 및 대규모 배치(B16) 훈련 프로토콜을 적용하여 수렴 행동과 결과로 나타나는 손실 표면 기하학을 비교한다.
• 시각화는 고정 해상도(n=40)와 축소된 영역 크기(r=0.025)를 사용해 명확성을 높이고 최소화점의 평탄함을 직접 비교할 수 있도록 한다.
• 경계 검출 및 생물의학 영상 분할 데이터셋에서 실험하여 일반화 성능과 지형 특성을 평가한다.

실험 결과

연구 질문

• RQ1 FCN의 스위프 레이어 연결은 손실 표면의 기하학과 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 배치 크기와 FCN에서 최소화점의 평탄함 사이의 관계는 무엇인가?
• RQ3 유사한 훈련 손실을 가진다 해도 일부 FCN 아키텍처가 다른 것보다 더 잘 일반화되는 이유는 무엇인가?
• RQ4 최적화 지형을 시각화하면 EM 분할 작업에서 U-Net이 FCN-16s보다 뛰어난 성능을 내는 이유를 설명할 수 있는가?

주요 결과

• 더 이른 단계의 고해상도 특징 맵에서 후속의 업샘플링된 레이어로의 스위프 레이어 연결은 더 평탄한 최적화 지형을 이끌어내며, 이는 더 나은 일반화와 관련된다.
• FCN-4s는 ε=0.1일 때 Cε=1.4904로 가장 평탄한 지형을 보이며, 이는 FCN-8s(1.7724)와 FCN-16s(2.1822)보다 더 나은 일반화를 의미한다.
• 소규모 배치 훈련(B2)은 항상 더 평탄한 최소화점과 부드럽고 거의 볼록한 영역을 가져오지만, 대규모 배치 훈련(B16)은 날카롭고 혼란스러운 비정규적인 이웃 영역을 가진 날카로운 최소화점을 초래한다.
• FCN-16s에서 B2의 평균 Cε 날카움 정도는 ε=0.01일 때 0.0252이며, B16의 경우 0.0418로, 소규모 배치가 더 평탄한 최소화점을 유도함을 확인한다.
• U-Net은 B2에서 ε=0.01일 때 Cε가 0.0175로 FCN-16s(0.0252)보다 낮게 나타나, 그 아키텍처가 더 평탄하고 일반화 능력이 뛰어난 해를 촉진함을 시사한다.
• 이 연구는 더 평탄한 최소화점이 더 나은 일반화와 관련이 있음을 경험적으로 입증하며, 최적화 지형 기하학이 FCN에서 일반화에 영향을 미친다는 가설을 뒷받침한다.