[논문 리뷰] Pattern-Affinitive Propagation across Depth, Surface Normal and Semantic Segmentation

Zhenyu Zhang, Zhen Cui외 4명|arXiv (Cornell University)|2019. 06. 08.

Advanced Vision and Imaging참고 문헌 59인용 수 23

한 줄 요약

이 논문은 깊이, 표면 법선, 그리고 의미 분할을 동시에 예측하기 위해 작업 간 반복적인 패턴 유사성 구조를 활용하는 새로운 프레임워크인 패턴-유사성 전파(Pattern-Affinitive Propagation, PAP)를 제안한다. 비국소 유사성 행렬을 통한 작업 간 전파와 반복적인 작업별 확산을 통해 성능을 향상시키며, NYUD-v2, SUN-RGBD, KITTI 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel Pattern-Affinitive Propagation (PAP) framework to jointly predict depth, surface normal and semantic segmentation. The motivation behind it comes from the statistic observation that pattern-affinitive pairs recur much frequently across different tasks as well as within a task. Thus, we can conduct two types of propagations, cross-task propagation and task-specific propagation, to adaptively diffuse those similar patterns. The former integrates cross-task affinity patterns to adapt to each task therein through the calculation on non-local relationships. Next the latter performs an iterative diffusion in the feature space so that the cross-task affinity patterns can be widely-spread within the task. Accordingly, the learning of each task can be regularized and boosted by the complementary task-level affinities. Extensive experiments demonstrate the effectiveness and the superiority of our method on the joint three tasks. Meanwhile, we achieve the state-of-the-art or competitive results on the three related datasets, NYUD-v2, SUN-RGBD and KITTI.

연구 동기 및 목표

• 작업 간 지식을 활용하여 장면 이해를 향상시키기 위해 깊이, 표면 법선, 의미 분할을 동시에 예측하는 도전 과제를 해결하기 위해.
• 다양한 작업 간 반복적인 패턴-유사성 관계를 모델링하여 특징 표현과 예측 정확도를 향상시키기 위해.
• 구조적 전파 메커니즘을 통해 다수의 작업 간 상호보완적 정보를 활용하는 방법을 개발하기 위해.
• 데이터가 풍부한 도메인에서 데이터가 부족한 도메인으로의 지식 전이를 가능하게 하여, 예를 들어 NYUD-v2에서 KITTI로의 전이를 가능하게 하기 위해.

제안 방법

• PAP 프레임워크는 두 단계 전파를 도입한다: 비국소 유사성 행렬을 사용하여 작업 간 유사성 패턴을 집계하고 최적화하는 작업 간 전파.
• 깊이, 법선, 분할 맵 간의 쌍별 유사성을 REL, RMSE, 레이블 일致성 지표를 사용하여 수식화한다.
• 작업별 전파에서는 특징 공간에서 반복적인 확산을 수행하여 각 작업 내에서 작업 간 유사성 패턴을 전파하고 학습을 정규화한다.
• 국소 이웃 가정을 대체하기 위해 비국소 연산을 사용하여 장거리 의존성을 포착한다.
• 각 작업별로 유사성 행렬을 학습하고, 작업 간 최적화를 통해 일반화 및 강인성을 향상시킨다.
• 공유된 특징과 작업별 헤드를 사용하여 ResNet-50을 백본으로 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 깊이, 표면 법선, 의미 분할 작업 간 반복적인 패턴-유사성을 효과적으로 모델링하여 통합 예측 성능을 향상시킬 수 있는가?
• RQ2 작업 간 유사성은 어떻게 전파되어 각 개별 작업의 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 RGB 입력만으로도 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 PAP 프레임워크는 데이터가 풍부한 도메인에서 데이터가 부족한 도메인으로의 지식 전이에 얼마나 효과적으로 기여하는가?

주요 결과

• NYUD-v2에서 PAP는 KITTI 깊이 벤치마크에서 14.58 SILog, 3.96 sqErrRel, 11.50 absErrRel, 15.24 iRMSE를 기록하여 대부분의 지표에서 DORN을 능가했다.
• SUN-RGBD에서 83.8% 픽셀 정확도, 58.4% 평균 정확도, 50.5% IoU를 달성하여 모든 지표에서 최고 수준의 성능을 보였다.
• NYUD-v2에서 의미 분할 분야에서 62.5% 평균 정확도와 50.4% IoU를 기록하여 RGB 입력만으로도 뛰어난 성능을 보였다.
• 정확도와 추론 속도 측면에서 DORN을 포함한 최신 기술 수준의 접근법들을 초월하는 성능을 보였다.
• NYUD-v2, SUN-RGBD, KITTI에서의 정성적 결과는 지상 진실에 가까운 고해상도 예측을 보여주었다.
• NYUD-v2에서 KITTI로의 지식 전이 실험은 자원이 제한된 환경에서의 방법의 효과성을 입증했다.