[논문 리뷰] Adaptive Affinity Fields for Semantic Segmentation

Tsung-Wei Ke, Jyh-Jing Hwang외 2명|arXiv (Cornell University)|2018. 03. 27.

Advanced Neural Network Applications참고 문헌 30인용 수 13

한 줄 요약

이 논문은 적응형 유사도 필드(Adaptive Affinity Fields, AAF)를 제안하며, 다양한 의미적 카테고리에 대해 최적의 이웃 크기를 적응적으로 선택할 수 있도록 적대적 훈련을 통해 공간적 구조를 학습하는 의미 분할의 새로운 방법이다. 유사도 매칭을 최소화-최대화 문제로 공식화함으로써 AAF는 추론 오버헤드 없이 PASCAL VOC 2012, Cityscapes, 그리고 GTA5에서 정확도를 향상시켜 최신 기술 수준의 성능과 강력한 도메인 일반화 능력을 확보한다.

ABSTRACT

Semantic segmentation has made much progress with increasingly powerful pixel-wise classifiers and incorporating structural priors via Conditional Random Fields (CRF) or Generative Adversarial Networks (GAN). We propose a simpler alternative that learns to verify the spatial structure of segmentation during training only. Unlike existing approaches that enforce semantic labels on individual pixels and match labels between neighbouring pixels, we propose the concept of Adaptive Affinity Fields (AAF) to capture and match the semantic relations between neighbouring pixels in the label space. We use adversarial learning to select the optimal affinity field size for each semantic category. It is formulated as a minimax problem, optimizing our segmentation neural network in a best worst-case learning scenario. AAF is versatile for representing structures as a collection of pixel-centric relations, easier to train than GAN and more efficient than CRF without run-time inference. Our extensive evaluations on PASCAL VOC 2012, Cityscapes, and GTA5 datasets demonstrate its above-par segmentation performance and robust generalization across domains.

연구 동기 및 목표

• 미세한 공간적 구조를 포착하지 못하는 픽셀 단위 분류의 한계를 해결하기 위해, 특히 얇은 브래킷이나 먼 거리에 있는 물체와 같은 작은 또는 복잡한 형태에 대해.
• 분할 과정에서 구조적 사전 지식을 강제할 때 CRF(높은 추론 비용)와 GAN(훈련 불안정성)의 단점을 극복하기 위해.
• 고정되거나 수작업으로 조정된 수신장 영역을 사용하는 대신, 훈련 중에 다양한 의미적 카테고리에 대해 최적의 이웃 크기를 학습하는 방법을 개발하기 위해.
• 실제 데이터셋(Cityscapes)에서의 합성 데이터셋(GTA5)으로의 도메인 이동에 대해 피팅 조정 없이도 강건한 분할 성능을 향상시키기 위해.
• CRF나 GAN의 후처리나 개선 모듈과 유사한 경량이고 효율적인 대안을 도입하여 런타임 추론 비용이 전혀 발생하지 않으면서도 예측의 구조 일致성을 향상시키기 위해.

제안 방법

• 표호 공간 내에서 이웃 픽셀 간의 공간적 관계를 모델링하는 쌍방향 손실 함수로 적응형 유사도 필드(Adaptive Affinity Fields, AAF)를 제안하며, 국소적 관계를 통해 의미적 구조를 포착한다.
• AAF를 최소화-최대화 최적화 문제로 공식화: 유사도 매칭 손실을 최소화하면서 다양한 커널 크기에서의 오차를 최대화함으로써 최악의 경우를 고려한 학습 시나리오를 만든다.
• 판별망 네트워크를 사용해 다양한 커널 크기(3×3, 5×5, 7×7)에서의 유사도 필드 매칭 품질을 평가함으로써, 각 카테고리에 적합한 최적의 수신장 크기를 학습할 수 있도록 한다.
• 다양한 커널 크기의 가중 조합을 도입하며, 커널 반응에 대한 애 attention 유사 가중치를 통해 각 카테고리에 최적의 크기를 학습한다.
• 표현 네트워크를 엔드 투 엔드로 훈련하며 하이브리드 손실을 사용: 픽셀 단위 분류를 위한 표준 크로스 엔트로피 손실과 구조 일致성 확보를 위한 AAF 손실.
• AAF 손실은 훈련 기간 동안만 적용되며, 추론 시 어떤 런타임 오버헤드도 발생시키지 않음 — 이는 CRF나 GAN 기반의 후처리나 개선 모듈과는 달리.

실험 결과

연구 질문

• RQ1 의미 분할에서 각 의미적 카테고리에 대해 최적의 수신장 크기를 자동으로 학습하는 데 적대적 훈련을 사용할 수 있는가?
• RQ2 카테고리별로 유사도 필드를 학습하면 얇은 브래킷이나 먼 사람과 같은 미세한 구조에서의 분할 성능이 향상되는가?
• RQ3 AAF는 피팅 조정 없이 도메인 이동(예: Cityscapes에서 GTA5로)에 일반화될 수 있는가? 표준 기준보다 성능이 뛰어나게 되는가?
• RQ4 3×3, 5×5, 7×7 커널 크기의 조합이 분할 정확도와 구조 모델링에 어떤 영향을 미치는가?
• RQ5 AAF는 추론 비용이 높거나 훈련이 불안정한 CRF나 GAN 기반 방법보다 더 나은 성능을 낼 수 있는가, 동시에 그들의 단점을 피할 수 있는가?

주요 결과

• AAF는 3×3, 5×5, 7×7 커널 조합을 사용할 때 PASCAL VOC 2012 검증 세트에서 88.22%의 mIoU를 기록하며, PSPNet 기준보다 뛰어난 성능을 보였다.
• Cityscapes 데이터셋에서, AAF는 GTA5에서 테스트할 때 피팅 조정 없이도 PSPNet보다 1.46% 높은 mIoU와 9.5% 높은 픽셀 정확도를 기록했다.
• 'person'과 'dog'의 최적 커널 크기는 각각 3.1과 3.4로, 더 작은 수신장 영역을 선호하는 것으로 나타났으며, 반면 'cow'와 'plant'는 더 큰 영역(4.6과 4.5)에서 유리함을 보였다.
• 3×3와 5×5 커널 조합이 가장 우수한 성능을 보였으며, 'aero'에서 90.19%의 mIoU와 'bird'에서 89.87%의 mIoU를 기록하여 단일 또는 세 커널 조합보다 뛰어났다.
• AAF는 얇은 방사형 브래킷이나 먼 물체와 같은 미세한 구조에서의 분할 품질을 향상시켰으며, PSPNet 및 기본 유사도 필드와의 비교에서 뚜렷한 시각적 개선이 확인되었다.
• AAF는 도메인 간 일반화 능력이 뛰어나, GTA5 Part 1에서 78.28%의 mIoU를 기록하여 PSPNet보다 1.46% 높았으며, 적응 없이도 강력한 도메인 일반화 능력을 보였다.