[논문 리뷰] Three for one and one for three: Flow, Segmentation, and Surface Normals

Hoàng-Ân Lê, Anil S. Baslamisli외 2명|arXiv (Cornell University)|2018. 07. 19.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 광학 흐름, 의미적 세그멘테이션, 표면 노멀을 상호 보완적인 단서로 활용하여 상호 정확도를 향상시키는 모듈러한 지도 학습 기반 개선 네트워크를 제안한다. 풍부한 애너테이션을 갖춘 대규모 합성 데이터셋을 사용하여, 공동 모델링이 경계 구분, 영역 일관성, 3D 시점 구조 복원 능력을 크게 향상시킴을 입증하였으며, 특히 세 가지 모odalities를 함께 사용했을 때 최고의 성능을 기록하였다.

ABSTRACT

Optical flow, semantic segmentation, and surface normals represent different information modalities, yet together they bring better cues for scene understanding problems. In this paper, we study the influence between the three modalities: how one impacts on the others and their efficiency in combination. We employ a modular approach using a convolutional refinement network which is trained supervised but isolated from RGB images to enforce joint modality features. To assist the training process, we create a large-scale synthetic outdoor dataset that supports dense annotation of semantic segmentation, optical flow, and surface normals. The experimental results show positive influence among the three modalities, especially for objects' boundaries, region consistency, and scene structures.

연구 동기 및 목표

• 장면 이해에서 광학 흐름, 의미적 세그멘테이션, 표면 노멀 간 상호 영향을 조사한다.
• 다른 두 작업의 예측을 이용해 하나의 작업을 향상시키는 모듈러한 개선 프레임워크를 개발한다.
• 자연 외부 환경의 세 가지 모odalities에 대해 고밀도 지상 진실 애너테이션을 갖춘 대규모 합성 데이터셋을 구축한다.
• 공동 모델링의 효과를 평가하여, 특히 객체 경계 및 과도한 영역에서의 정확도 향상 여부를 확인한다.
• 예측된 모달리티 출력이 개선을 위한 지식 정제에서 지상 진실 레이블을 초월할 수 있는지 탐색한다.

제안 방법

• 두 모달리티의 예측을 사용하여 세 번째 모달리티를 개선하는 컨volutional 신경망 기반의 개선 모듈을 지도 학습 방식으로 훈련한다.
• 이 방법은 원시 RGB 입력에서 개선 네트워크를 분리하여, 주로 상호 모달리티 특징 간 상호작용에 집중한다.
• 자연 풍경(정원, 공원)의 대규모 합성 데이터셋을 생성하였으며, 광학 흐름, 의미적 세그멘테이션, 표면 노멀에 대한 지상 진실 애너테이션을 포함한다.
• 개선 네트워크는 두 예측된 모달리티의 특징을 사용하여 세 번째 모달리티를 개선하며, 각 작업 별 최적화된 손실 함수를 사용한다.
• 예측된 세그멘테이션의 소프트 레이블(부드러운 소프트맥스)을 사용하여 하드 원-핫 레이블 대신 지식 정제를 탐색한다.
• 실험은 실세계(VKITTI, Nature) 및 합성 데이터를 모두 사용하여 다양한 데이터셋과 모달리티 조합에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 광학 흐름, 의미적 세그멘테이션, 표면 노멀은 예측 정확도 측면에서 서로 어떤 영향을 미치는가?
• RQ2 모듈러한 개선 네트워크는 다른 두 모달리티의 예측을 이용해 한 작업을 효과적으로 향상시킬 수 있는가?
• RQ3 예측된 모달리티 출력을 개선을 위한 지도로 사용할 경우, 지상 진실 레이블을 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ4 공동 모델링은 경계 정확도와 영역 일관성에 어떤 영향을 미치는가?
• RQ5 예측된 소프트 레이블에서의 지식 정제는 개선 성능 향상에 얼마나 효과적인가?

주요 결과

• 세 가지 모달리티를 모두 조합할 경우 최고의 성능을 기록하였으며, VKITTI(2.39) 및 Nature(14.21) 데이터셋에서 광학 흐름 개선의 평균 종단 간 오차(EPE)가 가장 낮았다.
• 예측된 세그멘테이션과 표면 노멀을 모두 사용한 개선은 단독으로 사용할 경우보다 광학 흐름 오차를 더 효과적으로 감소시키며, 특히 가림 영역과 경계 영역에서 두드러진다.
• 표면 노멀 개선은 세그멘테이션과 흐름 예측으로부터 크게 이득을 보였으며, 기준 모델인 MarrRevisited의 IoU가 예측된 흐름과 세그멘테이션으로 개선된 후 평균 기준에서 48.13에서 64.39로 향상되었다.
• 지상 진실 원-핫 레이블 대비 예측된 세그멘테이션의 소프트 레이블이 표면 노멀 개선에서 더 뛰어난 성능을 보였으며, 이는 예측 모델에서 효과적인 지식 정제가 가능함을 시사한다.
• 예측된 흐름과 노멀을 사용한 의미적 세그멘테이션 개선은 더 부드러운 경계와 노이즈 감소를 이끌었지만, 정확하지 못한 예측에서 기인한 오류 전파로 인해 약간의 성능 저하가 발생했다.
• 시각적 결과는 공동 개선이 천체, 나무, 포장면 등 복잡한 영역에서 세부 정보 복원 능력을 향상시킴을 확인하였으며, 특히 도전적인 조명과 질감을 지닌 Nature 데이터셋에서 두드러졌다.