[논문 리뷰] Instance Shadow Detection

Tianyu Wang, Xiaowei Hu외 3명|arXiv (Cornell University)|2019. 11. 16.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 6

한 줄 요약

이 논문은 그림 속 그림자와 객체 인스턴스를 동시에 검출하고 그 관계를 연결하는 새로운 작업인 인스턴스 샤페르 감지를 소개한다. 이와 함께 3,623개의 그림자-객체 쌍을 포함한 SOBA 데이터셋과 인스턴스, 연관성, 조명 방향을 종합적으로 예측하는 엔드 투 엔드 예측을 위한 LISA 프레임워크를 제안한다. 주요 기여는 새로운 평가 지표인 SOAP이며, 조명 방향 추정 및 일관된 그림자 전이가 가능한 사진 편집 등 실용적 응용이 가능하다.

ABSTRACT

Instance shadow detection is a brand new problem, aiming to find shadow instances paired with object instances. To approach it, we first prepare a new dataset called SOBA, named after Shadow-OBject Association, with 3,623 pairs of shadow and object instances in 1,000 photos, each with individual labeled masks. Second, we design LISA, named after Light-guided Instance Shadow-object Association, an end-to-end framework to automatically predict the shadow and object instances, together with the shadow-object associations and light direction. Then, we pair up the predicted shadow and object instances, and match them with the predicted shadow-object associations to generate the final results. In our evaluations, we formulate a new metric named the shadow-object average precision to measure the performance of our results. Further, we conducted various experiments and demonstrate our method's applicability on light direction estimation and photo editing.

연구 동기 및 목표

• 이미지 내 개별 그림자 및 객체 인스턴스와 그 연관성을 검출하기 위한 전용 벤치마크와 방법의 부족 문제를 해결하기 위해.
• 1,000장의 이미지와 3,623개의 레이블된 그림자-객체 인스턴스 쌍을 포함한 새로운 데이터셋 SOBA를 개발하기 위해.
• 그림자 및 객체 인스턴스 마스크, 그들의 연관성, 그리고 조명 방향을 동시에 예측하는 엔드 투 엔드 딥 러닝 프레임워크인 LISA를 설계하기 위해.
• 인스턴스 그림자 감지 성능을 정량적으로 측정하기 위해 새로운 평가 지표인 그림자-객체 평균 정확도(SOAP)를 제안하기 위해.
• 조명 방향 추정 및 지능형 사진 편집 등 실용적 응용, 예를 들어 객체와 그 그림자를 함께 제거하거나 일관된 그림자를 전이하는 데에 예측된 그림자-객체 연관성과 조명 방향을 효과적으로 활용하기 위해.

제안 방법

• SOBA 데이터셋은 1,000장의 이미지로 구성되며, 각 이미지에 대해 그림자 인스턴스, 객체 인스턴스, 그림자-객체 연관성 쌍에 대해 별도의 마스크를 제공하며, 각 인스턴스에 고유한 색상을 사용해 레이블링한다.
• LISA 프레임워크는 엔드 투 엔드 딥 러닝 모델로, 동시에 다음을 예측한다: (1) 그림자 및 객체 인스턴스의 바운딩 박스와 마스크, (2) 그림자-객체 연관성의 바운딩 박스, (3) 각 연관성에 대한 조명 방향.
• 후처리 모듈은 예측된 그림자 및 객체 인스턴스를 공간적 근접성과 예측된 그림자-객체 연관성 바운딩 박스의 일치성에 기반해 쌍으로 연결한다.
• 프레임워크는 공유 백본 특징과 마스크 예측, 박스 회귀, 조명 방향 추정을 위한 작업별 헤드를 활용한 다중 작업 학습 전략을 사용한다.
• 조명 방향은 객체 중심에서 그림자 중심으로 향하는 벡터를 사용해 그림자와 객체 인스턴스 간 기하학적 관계로부터 추정한다.
• 프레임워크는 인스턴스 세그멘테이션 헤드와 조명 유도 주의 모듈을 활용하여 연관성 정확도와 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그림자 및 그에 연관된 객체에 대한 세밀한 인스턴스 수준의 레이블링을 갖춘 새로운 데이터셋을 효과적으로 구축하여 인스턴스 그림자 감지에 기여할 수 있는가?
• RQ2 엔드 투 엔드 딥 러닝 프레임워크가 높은 정확도로 그림자 및 객체 인스턴스, 그들의 연관성, 그리고 조명 방향을 동시에 예측할 수 있는가?
• RQ3 새로운 평가 지표인 SOAP가 인스턴스 그림자 감지 성능에 대해 신뢰할 수 있고 의미 있는 정량적 평가를 제공할 수 있는가?
• RQ4 예측된 그림자-객체 연관성과 조명 방향이 조명 방향 추정 및 사진 편집과 같은 후행 응용에 효과적으로 활용될 수 있는가?
• RQ5 제안된 방법이 새로운 SOBA 벤치마크에서 기준 방법 대비 인스턴스 검출 및 연관성 정확도 측면에서 어떻게 비교되는가?

주요 결과

• SOBA 데이터셋은 1,000장의 이미지와 3,623개의 고유한 그림자-객체 인스턴스 쌍을 포함하며, 각 쌍은 그림자, 객체, 연관성에 대해 별도의 마스크로 레이블링되어 있다.
• LISA 프레임워크는 SOBA 벤치마크에서 최신 기술 수준의 성능을 달성하여 다양한 환경과 그림자 유형에 걸쳐 강력한 일반화 능력을 보였다.
• 제안된 SOAP 지표는 신뢰할 수 있는 정량적 평가를 가능하게 하여, LISA가 기준 방법 대비 인스턴스 검출 및 연관성 정확도 측면에서 뛰어난 성능을 보임을 입증했다.
• 예측된 조명 방향은 실제 세계의 조명과 일치함을 입증하였으며, 테스트 이미지의 실제 그림자와 일치하는 가상의 그림자를 렲출하여 검증되었다.
• 사진 편집 작업에서는 객체와 그 연관된 그림자를 완전히 제거할 수 있었으며, 이는 이전 연구에서 관찰된 잔여 그림자 문제를 피할 수 있었다.
• 이 방법은 조명 인식 기반 객체 전이를 지원하여, 목표 환경의 예측된 조명 방향에 따라 그림자를 조정함으로써, 외관적으로 일관된 편집 결과를 도출할 수 있었다.