[논문 리뷰] Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation

Hao Li, Chenxin Tao외 4명|arXiv (Cornell University)|2020. 10. 15.

Advanced Neural Network Applications참고 문헌 31인용 수 8

한 줄 요약

이 논문은 의미적 세그멘테이션에서 특정 평가 지표에 맞게 최적화된 미분 가능 대체 손실 함수를 자동으로 탐색할 수 있도록 신경망 아키텍처 탐색 기법을 응용한 Auto Seg-Loss를 제안한다. 평가 지표의 비미분 가능 성분(예: IoU, Dice)을 학습 가능한 매개변수화된 함수로 대체하고, 제약 조건을 고려한 탐색을 통해 그 형태를 최적화함으로써, PASCAL VOC와 Cityscapes에서 수작업으로 설계된 손실 함수보다 뛰어난 성능을 달성하며, 데이터셋 및 네트워크 아키텍처 간 일반화가 가능하다.

ABSTRACT

Designing proper loss functions is essential in training deep networks. Especially in the field of semantic segmentation, various evaluation metrics have been proposed for diverse scenarios. Despite the success of the widely adopted cross-entropy loss and its variants, the mis-alignment between the loss functions and evaluation metrics degrades the network performance. Meanwhile, manually designing loss functions for each specific metric requires expertise and significant manpower. In this paper, we propose to automate the design of metric-specific loss functions by searching differentiable surrogate losses for each metric. We substitute the non-differentiable operations in the metrics with parameterized functions, and conduct parameter search to optimize the shape of loss surfaces. Two constraints are introduced to regularize the search space and make the search efficient. Extensive experiments on PASCAL VOC and Cityscapes demonstrate that the searched surrogate losses outperform the manually designed loss functions consistently. The searched losses can generalize well to other datasets and networks. Code shall be released.

연구 동기 및 목표

• 의미적 세그멘테이션에서 표준 손실 함수(예: 교차 엔트로피)와 평가 지표 간의 괴리 문제를 해결하기 위해.
• 전문가가 수작업으로 설계한 손실 함수의 필요성을 줄이기 위해 지표 중심의 대체 손실 함수를 자동으로 탐색하기 위해.
• 학습 목표를 최종 평가 지표에 더 가깝게 맞추어 세그멘테이션 모델의 성능을 향상시키기 위해.
• 강력하고 미분 가능한 손실 대체 함수를 생성할 수 있는 효율적이고 일반화 가능한 탐색 프레임워크를 개발하기 위해.
• 탐색된 손실 함수가 다양한 데이터셋과 네트워크 아키텍처 간 이식 가능하도록 하기 위해.

제안 방법

• 평가 지표의 비미분 가능 성분(예: IoU, Dice)을 미분 가능하고 매개변수화된 대체 함수로 대체하기 위해.
• 최적의 대체 손실 형태 탐색을 학습 가능한 매개변수에 대한 미분 가능한 아키텍처 탐색 문제로 공식화하기 위해.
• 탐색 공간을 줄이고 최적화 효율성을 향상시키기 위해 두 가지 정규화 제약 조건을 도입하기 위해.
• 손실 표면이 목표 지표와 일치하도록 기울기 기반 탐색을 통해 대체 손실 매개변수를 최적화하기 위해.
• 기존 표준 벤치마크에서 성능을 평가하기 위해 탐색된 대체 손실 함수를 사용해 세그멘테이션 네트워크를 훈련하기 위해.
• 학습 분포 외부의 새로운 데이터셋과 네트워크 아키텍처에서의 성능을 테스트하여 일반화 성능 확보하기 위해.

실험 결과

연구 질문

• RQ1 의미적 세그멘테이션에서 학습과 평가 지표 간의 일치를 향상시키기 위해, 미분 가능한 대체 손실 함수를 자동으로 탐색할 수 있는가?
• RQ2 다양한 지표와 데이터셋에서 자동 탐색된 손실 함수의 성능는 수작업으로 설계된 손실 함수와 비교해 어떻게 되는가?
• RQ3 탐색된 손실 함수는 다른 세그멘테이션 네트워크와 데이터셋 간에 어느 정도 일반화 가능한가?
• RQ4 대체 손실 함수 탐색을 효율적이고 안정적으로 만들기 위해 효과적인 제약 조건은 무엇인가?
• RQ5 제안된 방법은 PASCAL VOC와 Cityscapes와 같은 여러 표준 벤치마크 데이터셋에서 일관되게 세그멘테이션 성능을 향상시킬 수 있는가?

주요 결과

• PASCAL VOC와 Cityscapes에서 평가된 모든 지표에서 탐색된 대체 손실 함수가 표준 교차 엔트로피 및 그 변종보다 뛰어난 성능을 보였다.
• Auto Seg-Loss로 얻는 성능 향상은 IoU 및 Dice와 같은 다양한 평가 지표에서 일관되게 나타났다.
• 학습 분포 외부의 다른 데이터셋과 네트워크 아키텍처로의 일반화가 잘 이루어졌다.
• 정규화 제약 조건의 사용이 탐색 효율성과 수렴 안정성 향상에 크게 기여했다.
• 수작업 손실 설계 없이도 표준 벤치마크에서 최고 성능을 달성했다.
• Auto Seg-Loss의 코드는 재현성과 향후 연구를 지원하기 위해 공개될 예정이다.