[논문 리뷰] High-Quality Correspondence and Segmentation Estimation for Dual-Lens Smart-Phone Portraits

Xiaoyong Shen, Hongyun Gao외 3명|arXiv (Cornell University)|2017. 04. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 이중 렌즈 스마트폰 포트레이트 이미지에서 조밀한 대응과 의미적 세그멘테이션을 동시에 향상시키기 위해 완전히 연결된 조건부 랜덤 필드(CRF)를 사용한 공동 최적화 프레임워크를 제안한다. 지역적 대응을 도입하여 계산 비용을 줄이고 인간의 신체 사전 지식을 활용함으로써, 상태 기술(SOTA) 성능을 달성하며, 평균 종단 간 거리 오차를 5.29로 감소시키고 새로운 2,000장의 포트레이트 이미지 데이터셋에서 평균 IoU를 88.33%로 향상시켰다.

ABSTRACT

Estimating correspondence between two images and extracting the foreground object are two challenges in computer vision. With dual-lens smart phones, such as iPhone 7Plus and Huawei P9, coming into the market, two images of slightly different views provide us new information to unify the two topics. We propose a joint method to tackle them simultaneously via a joint fully connected conditional random field (CRF) framework. The regional correspondence is used to handle textureless regions in matching and make our CRF system computationally efficient. Our method is evaluated over 2,000 new image pairs, and produces promising results on challenging portrait images.

연구 동기 및 목표

• 텍스처가 없는 영역, 가림, 노이즈 등으로 인해 복잡한 이중 렌즈 스마트폰 포트레이트 이미지에서 정확한 조밀한 대응과 의미적 세그멘테이션을 해결하는 것.
• 조밀한 옵티컬 플로우와 픽셀 단위 의미적 레이블 간의 상호 보완적 개선을 통해 대응 추정과 의미적 세그멘테이션을 하나의 공동 최적화 프레임워크로 통합하는 것.
• 지역적 대응을 도입하여 완전히 연결된 CRF 추론의 계산 비용을 줄이고, 이미지당 레이블 수를 40 미만으로 제한하는 것.
• 인간 신체의 사전 지식과 강력한 특징 매칭을 활용하여, 특히 인간 신체 경계부와 낮은 텍스처 영역에서 어려운 포트레이트 데이터에서의 성능을 향상시키는 것.

제안 방법

• 조밀한 옵티컬 플로우와 픽셀 단위 의미적 레이블 간의 상호 보완적 개선을 가능하게 하기 위해, 대응과 세그멘테이션 특징을 통합하는 공동 완전 연결 CRF 모델을 수립한다.
• 지역적 대응을 도입하여 CRF 레이블 공간을 제한하고, 픽셀 단위 이동 지도를 영역 기반 레이블로 대체함으로써, 이미지 영역 수 N을 기준으로 추론 복잡도를 O(N²)에서 O(N)으로 감소시킨다.
• 기존 모델(MDP, LDOF 등)에서 얻은 굵은 해상도의 옵티컬 플로우를 초기화로 사용하고, CNN 기반 특징과 인간 신체 사전 지식을 활용한 CRF 최적화를 통해 이를 개선한다.
• 의미적 세그멘테이션은 새로운 포트레이트 전용 데이터셋에서 미세 조정된 FCN 또는 CRFasRNN 모델로 초기화하고, 대응 유도 CRF 추론을 통해 추가로 개선한다.
• 통합된 CRF 에너지 함수를 사용하여 대응과 세그멘테이션을 번갈아가며 업데이트하는 공동 최적화 기법을 적용하며, 이는 공간 일관성과 외관 유사성을 모델링한다.
• CRF 에너지 함수는 유연성 있는 플로우, 세그멘테이션 신뢰도, 대응 및 세그멘테이션 레이블 간의 호환성에 대한 데이터 항목을 포함한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 CRF를 사용한 대응과 세그멘테이션의 공동 최적화가 독립적인 방법에 비해 이중 렌즈 포트레이트 이미지에서 성능을 향상시키는가?
• RQ2 지역적 대응은 조밀한 대응 추정에서 정확도를 유지하거나 향상시키면서 계산 비용을 얼마나 효과적으로 줄이는가?
• RQ3 인간 신체 사전 지식과 대응 및 세그멘테이션 간의 상호 보완적 개선은 텍스처가 없는 영역과 경계 영역에서 오차를 얼마나 줄이는가?
• RQ4 포트레이트 이미지에서 별도로 대응과 세그멘테이션을 개선하는 것보다 공동 모델이 더 우수한 성능을 내는가?

주요 결과

• 제안된 공동 모델은 새로운 포트레이트 데이터셋에서 평균 교차율(IoU)을 88.33%로 달성하여, FCN(79.51%), DeepLab(80.09%), CRFasRNN(80.23%) 등의 베이스라인 모델을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 공동 모델은 평균 종단 간 거리 오차(AEPE)를 5.29로 감소시켜 MDP(8.23), LDOF(8.32), DeepFlow(7.87) 등 비교 모델을 모두 능가했다.
• 지역적 대응을 사용함으로써 이미지당 추론 시간을 186.3초에서 16.63초로 단축시켰고, AEPE는 6.45에서 5.29로 향상되어 속도와 정확도 양면에서 성능 향상을 입증했다.
• 단독 세그멘테이션 개선(Ours-separate)은 IoU 84.32%를 기록했지만, 공동 모델은 이를 88.33%로 향상시켜 상호 보완적 개선의 유용성을 입증했다.
• 시각적 비교 결과, 기존 방법이 실패하는 인간 신체 경계부와 텍스처가 없는 영역(예: 피부, 머리카락)에서 오차가 크게 감소한 것으로 나타났다.
• 높은 수준의 인간 신체 구조와 대응 일관성을 활용함으로써, 낮은 텍스처 및 가림 영역에 대해 강건한 성능을 발휘한다.