[논문 리뷰] Simultaneous Edge Alignment and Learning

Zhiding Yu, Weiyang Liu외 5명|arXiv (Cornell University)|2018. 08. 06.

Medical Image Segmentation Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 확률적 모델에서 잠재 변수로 간주되는 에지 레이블을 통해 엣지 정렬과 탐지를 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크인 SEAL을 제안한다. 학습 중에 레이블 정제를 최소비용 이분할당 문제로 공식화함으로써 SEAL은 잘못 정렬된 애너테이션을 수정하고 더 선명하고 정확한 엣지를 생성하며, SBD 및 Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성하면서 노이즈가 있는 레이블 품질을 향상시킨다.

ABSTRACT

Edge detection is among the most fundamental vision problems for its role in perceptual grouping and its wide applications. Recent advances in representation learning have led to considerable improvements in this area. Many state of the art edge detection models are learned with fully convolutional networks (FCNs). However, FCN-based edge learning tends to be vulnerable to misaligned labels due to the delicate structure of edges. While such problem was considered in evaluation benchmarks, similar issue has not been explicitly addressed in general edge learning. In this paper, we show that label misalignment can cause considerably degraded edge learning quality, and address this issue by proposing a simultaneous edge alignment and learning framework. To this end, we formulate a probabilistic model where edge alignment is treated as latent variable optimization, and is learned end-to-end during network training. Experiments show several applications of this work, including improved edge detection with state of the art performance, and automatic refinement of noisy annotations.

연구 동기 및 목표

• 딥 러닝의 발전에도 불구하고 레이블의 정렬 오류로 인해 모델 성능이 저하되는 엣지 탐지의 핵심 과제를 해결하기 위해.
• 학습 중에 엣지 탐지와 노이즈가 많거나 잘못 정렬된 진짜 레이블 애너테이션을 동시에 학습하고 정제하는 통합 프레임워크를 개발하기 위해.
• 다양한 기반에서 엣지 정렬을 잠재 변수 최적화 문제로 모델링함으로써 기울기 전파를 통해 기울기 흐름이 가능한 엔드 투 엔드 학습 프로세스 내에서 엣지 탐지 품질을 향상시키기 위해.
• 레이블 정렬 오류를 수정함으로써 더 선명하고 정밀한 엣지 예측과 더 나은 일반화 성능을 달성할 수 있음을 입증하기 위해.
• 제안된 방법이 SBD 및 Cityscapes와 같은 표준 벤치마크에서 기존 최신 기술 수준의 모델을 초월하는 성능을 보임을 보여주기 위해.

제안 방법

• 진짜 엣지 레이블을 관측되지 않은 변수로 간주하여 확률적 그래픽 모델 내에서 엣지 정렬을 잠재 변수 최적화 문제로 공식화한다.
• 예측된 엣지 픽셀과 진짜 엣지 픽셀 간의 최소비용 이분할당 문제로 정렬 과정을 모델링하여 기울기 전파가 가능한 최적화를 가능하게 한다.
• 완전 컨volution 네트워크(FCN) 기반 아키텍처에 정렬 모듈을 통합하여 기울기 전파를 통해 엔드 투 엔드 학습이 가능하게 한다.
• 이산적 할당 문제의 미분 가능한 근사화를 사용하여 기울기 흐름을 유지함으로써 탐지와 정렬을 동시에 최적화할 수 있도록 한다.
• 긍정 및 부정 샘플을 균형 있게 조절하기 위해 학습된 엣지 신뢰도를 활용한 재가중 교차 엔트로피 손실을 사용하여 가짜 양성 예측을 줄인다.
• 두 단계 학습 전략을 적용한다: 첫 번째로 정렬 모듈을 통해 레이블을 정제하고, 두 번째로 정제된 레이블을 사용해 전체 네트워크를 피지컬 튜닝한다.

실험 결과

연구 질문

• RQ1 엣지 탐지와 레이블 정렬을 동시에 학습하는 것이 기존의 FCN 기반 모델보다 엣지 탐지 성능을 향상시킬 수 있는가?
• RQ2 레이블 정렬 오류를 수정함으로써 엣지의 선명함을 높이고 가짜 양성 예측을 줄일 수 있는 정도는 어느 정도인가?
• RQ3 제안된 방법이 재애너테이션 없이 노이즈가 많거나 잘못 정렬된 애너테이션을 자동으로 정제할 수 있는가?
• RQ4 표준 및 정제된 평가 프로토콜 모두에서 SEAL의 성능이 기존 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ5 다양한 데이터셋, 예를 들어 SBD와 Cityscapes와 같이 애너테이션 품질이 다른 데이터셋 간에도 이 프레임워크가 일반화되는가?

주요 결과

• 표준 벤치마크에서 SBD 테스트 세트에서 SEAL은 평균 F-측정치 74.4를 기록하여 이전 최신 기술 수준(71.4)을 크게 앞서며 성능을 향상시켰다.
• 더 높은 품질의 레이블을 가진 재애너테이션된 SBD 테스트 세트에서 '미세한' 설정에서는 평균 F-측정치 66.9를 기록하여 CASENet-S(66.4)를 초월하며 노이즈가 있는 레이블에 대한 강건성을 입증했다.
• 재애너테이션된 진짜 레이블을 기준으로 평가했을 때 원본 애너테이션 대비 F-측정치가 12.5% 상승함으로써 레이블 품질 향상이 확인되었으며, 이는 다이내믹-CRF 기반 정제 방식을 능가했다.
• Cityscapes 검증 세트에서 SEAL은 모든 카테고리에서 뛰어난 성능을 보였으며, 평균 F-측정치 75.9를 기록하여 CASENet과 CASENet-S를 크게 앞서는 성능을 보였다.
• 시각화 결과, SEAL은 기준 모델 대비 객체 경계 주변에서 엣지 예측을 점차로 조여서 두께를 줄이고 가짜 양성 예측을 감소시키는 경향을 보였다.
• 학습 중에 잘못 정렬된 레이블를 수정함으로써 재가중 손실 설정 조건에서도 엣지 근처의 가짜 양성 예측을 성공적으로 줄였다.