[논문 리뷰] AutoCorrect: Deep Inductive Alignment of Noisy Geometric Annotations

Honglie Chen, Weidi Xie외 2명|arXiv (Cornell University)|2019. 08. 14.

Remote Sensing and LiDAR Applications참고 문헌 29인용 수 9

한 줄 요약

AutoCorrect는 일致성 손실과 공간 메모리 맵을 사용하여 항공 및 위성 영상의 기하학적 애너테이션 노이즈를 자동으로 보정하는 딥 러닝 방법을 제안한다. 이는 지도 학습이 필요 없는 자기지도 학습을 가능하게 하여 지도 데이터가 없는 환경에서도 훈련이 가능하다. INRIA Buildings 및 새로운 Railway Tracks 데이터셋에서 최신 기준(SOTA) 성능을 달성하였으며, 애너테이션의 40%가 심각하게 왜곡된 경우에도 이전 방법들을 능가한다.

ABSTRACT

We propose AutoCorrect, a method to automatically learn object-annotation alignments from a dataset with annotations affected by geometric noise. The method is based on a consistency loss that enables deep neural networks to be trained, given only noisy annotations as input, to correct the annotations. When some noise-free annotations are available, we show that the consistency loss reduces to a stricter self-supervised loss. We also show that the method can implicitly leverage object symmetries to reduce the ambiguity arising in correcting noisy annotations. When multiple object-annotation pairs are present in an image, we introduce a spatial memory map that allows the network to correct annotations sequentially, one at a time, while accounting for all other annotations in the image and corrections performed so far. Through ablation, we show the benefit of these contributions, demonstrating excellent results on geo-spatial imagery. Specifically, we show results using a new Railway tracks dataset as well as the public INRIA Buildings benchmarks, achieving new state-of-the-art results for the latter.

연구 동기 및 목표

• 수동 레이블링이 비용이 너무 많이 들기 때문에 대규모 지오스페이셜 데이터셋에서 기하학적 애너테이션 노이즈를 보정하는 문제를 해결하기 위해.
• 노이즈 없는 지도 데이터가 전혀 필요 없이 딥 네URAL 네트워크를 훈련시켜 애너테이션 보정을 가능하게 하기 위해.
• 한 장의 이미지에 여러 개체 인스턴스가 존재하고, 각 인스턴스에 대해 서로 무관한 랜덤한 노이즈가 존재하는 상황을 다루기 위해.
• 객체의 대칭성과 공간 메모리 맵을 통한 순차적 보정을 활용하여 정렬 정확도를 향상시키기 위해.
• 항공 영상에서 애너테이션 보정을 평가하기 위한 새로운 벤치마크로 철도 노선 데이터셋을 설정하기 위해.

제안 방법

• 지오메트릭 일致성을 다중 노이즈 예측 간에 강제하는 일치성 손실을 사용하여 지도 데이터가 없는 환경에서도 훈련이 가능하도록 한다.
• 모든 애너테이션과 이전 보정을 추적하는 공간 메모리 맵을 도입하여 순차적이고 맥락 인식 보정이 가능한 객체 인스턴스 처리를 가능하게 한다.
• 전역 변위 필드가 아닌 개별 객체 수준의 변환을 적용하여 보다 정확하고 국소화된 보정이 가능하도록 한다.
• 도로와 같은 객체의 대칭성을 암묵적 제약 조건으로 활용하여 보정의 모호성을 줄인다.
• 일부 깨끗한 애너테이션이 존재할 경우 일치성 손실과 자기지도 학습 손실을 결합하여 강건성을 향상시킨다.
• 수동 필터링이나 정제된 깨끗한 데이터가 필요 없이 오직 노이즈 있는 애너테이션만으로 종단 간(end-to-end) 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 지도 데이터가 전혀 없는 환경에서 위성 영상의 기하학적 애너테이션 노이즈를 보정할 수 있는가?
• RQ2 지도 레이블이 없는 상황에서 일치성 손실이 자기지도 학습을 위한 애너테이션 보정에 얼마나 효과적인가?
• RQ3 객체의 대칭성이 애너테이션 보정의 정확도와 강건성에 얼마나 기여하는가?
• RQ4 공간 메모리 맵은 서로 다른 노이즈가 존재하는 다수의 객체 인스턴스에 대해 순차적 보정을 효과적으로 관리하고 중복 연결을 방지할 수 있는가?
• RQ5 40%의 애너테이션 왜곡이 존재하는 대규모 노이즈 있는 데이터셋에서 AutoCorrect는 이전 방법들보다 어떻게 성능을 발휘하는가?

주요 결과

• INRIA Buildings 데이터셋에서 AutoCorrect는 모든 IoU 임계값에서 이전 방법들을 능가하며, 개별 인스턴스 보정의 정확도 향상이 뚜렷하다.
• 새로운 Railway Tracks 데이터셋에서 AutoCorrect는 최신 기준 성능을 달성하여 복잡한 실제 노이즈에 대한 강력한 일반화 능력을 보여준다.
• 40%의 애너테이션 왜곡이 존재하는 35,000장의 이미지에서 훈련한 AutoCorrect는 IoU 0.445를 달성하였으며, 수동으로 정제된 3,000장의 깨끗한 이미지 데이터셋(0.436 IoU)과 유사한 성능을 보였다.
• 일치성 손실은 작은 데이터셋(예: INRIA Buildings)에서 효과적인 데이터 증강 기법으로 작용하여 제한된 깨끗한 데이터가 존재하는 상황에서도 성능 향상을 이끌어냈다.
• 정규형 및 복잡한 형태의 객체, 특히 가림이나 그림자로 인해 영향을 받는 객체까지도 정확하게 보정할 수 있었으며, 정성적 결과에서 이를 확인할 수 있었다.
• 공간 메모리 맵은 노이즈가 서로 무관하고 랜덤한 객체들 간에도 다수의 인스턴스를 정확하게 순차적으로 보정하는 데 성공하였다.