[논문 리뷰] Spot the Difference by Object Detection

Junhui Wu, Yun Ye외 2명|arXiv (Cornell University)|2018. 01. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 디지털 디자인과 인쇄된 사진 이미지 간의 局소적 차이를 탐지하기 위한 새로운 객체 검출 기반 방법을 제안한다. 두 이미지를 6채널 입력으로 겹쳐 넣고, 차이를 검출 가능한 객체로 간주한다. 초기 융합형 Faster R-CNN 기반 모델과 합성된 훈련 데이터를 사용한 방식은 모델 압축을 통해 24배 빠른 추론 속도를 달성하면서도 높은 정확도를 확보하여, 경량 레이블링 데이터만 필요로 하면서도 검증 기반 방법을 능가한다.

ABSTRACT

In this paper, we propose a simple yet effective solution to a change detection task that detects the difference between two images, which we call "spot the difference". Our approach uses CNN-based object detection by stacking two aligned images as input and considering the differences between the two images as objects to detect. An early-merging architecture is used as the backbone network. Our method is accurate, fast and robust while using very cheap annotation. We verify the proposed method on the task of change detection between the digital design and its photographic image of a book. Compared to verification based methods, our object detection based method outperforms other methods by a large margin and gives extra information of location. We compress the network and achieve 24 times acceleration while keeping the accuracy. Besides, as we synthesize the training data for detection using weakly labeled images, our method does not need expensive bounding box annotation.

연구 동기 및 목표

• 상업적 준수를 위해 필수적이지만 수동으로 확인하기 어려운 디지털 책 표지 디자인과 그 인쇄된 사진 대조 간의 미세하고 국소적인 변화를 탐지하는 문제를 해결한다.
• 기존의 전통적 검증 방법이 전반적인 특징을 우선시하고 텍스트나 무늬 변경과 같은 소규모이지만 의미 있는 국소적 변화를 간과하는 한계를 극복한다.
• 비용이 많이 드는 바운딩 박스 레이블링 대신 약한 레이블링된 이미지 쌍을 사용함으로써 annotation 비용을 최소화하는 강력하고 확장 가능한 솔루션을 개발한다.
• 모델 압축을 통해 추론 속도를 크게 향상시키면서도 실제 세계 데이터에서의 성능을 유지함으로써 높은 추론 속도와 정확도를 달성한다.

제안 방법

• 정렬된 두 개의 RGB 이미지(디지털 디자인과 사진 이미지)를 하나의 6채널 입력 텐서로 통합하여 양 이미지 간의 공동 특징 학습을 가능하게 한다.
• 초기 합성형 컨볼루션 네트워크 아키텍처를 사용하여, 초기 컨볼루션 계층에서 두 이미지 브랜치의 특징을 융합함으로써 계산을 공유하고 효율성을 향상시킨다.
• Faster R-CNN을 검출 프레임워크로 채택하여, 영역 제안은 영역 제안 네트워크(RPN)가 생성하고, 차이를 검출 가능한 객체로 간주한다.
• 세 가지 유형의 변형을 사용해 훈련 데이터를 합성한다: 한 이미지에서 패치를 복사하여 다른 이미지에 붙이기(정렬 여부에 따라), 그리고 전체 이미지의 차이 예시로 일치하지 않는 이미지 쌍을 사용하기.
• 바운딩 박스 레이블링 없이도, 이미지가 다른지 여부를 나타내는 약한 레이블만을 기반으로 합성된 데이터로 모델을 훈련시킨다.
• 모델 압축 기법을 적용하여 네트워크 크기를 줄이고 추론 속도를 24배 빠르게 하되, 검출 정확도는 유지한다.

실험 결과

연구 질문

• RQ1 미세하고 국소적인 차이가 존재하는 두 이미지 간의 세밀한 변화를 효과적으로 탐지하기 위해 객체 검출 기법을 적절히 응용할 수 있는가, 특히 시각적으로 노이즈가 많고 미묘한 경우에도 말이다?
• RQ2 기존의 검증 기반 방법(예: 시아미즈 네트워크, 피셔 벡터 코드화)과 비교해 볼 때, 객체 검출 기반 방법은 책 표지 이미지에서 소규모이지만 의미 있는 변화를 얼마나 잘 탐지하는가?
• RQ3 바운딩 박스 레이블링이 필요 없이 약한 레이블링된 이미지 쌍에서 합성된 데이터로 훈련된 검출 모델이, 비용이 많이 드는 레이블링 없이도 실제 노이즈가 많은 사진 이미지에 대해 얼마나 잘 일반화되는가?
• RQ4 모델 압축을 통해 추론 속도를 크게 향상시킬 수 있는가, 실시간 산업 응용 환경에서 검출 정확도가 저하되지 않는가?

주요 결과

• 제안된 객체 검출 방법은 피셔 벡터 코드화, 시아미즈 네트워크, 6채널 분류 기반 방법과 같은 검증 기반 접근법보다 책 표지 이미지에서 국소적 차이를 더 잘 탐지한다.
• 압축을 적용한 후 모델은 정확도를 유지하면서도 추론 속도가 24배 빨라져 생산 라인에서 실시간 배포에 적합하다.
• 바운딩 박스 없이도 약한 레이블링된 이미지 쌍에서 합성된 훈련 데이터는 합성 데이터와 실제 세계 테스트 데이터 양쪽에서 효과적인 검출 성능을 제공한다.
• 모델은 조명 변화, 색상 이동, 미세한 얼룩과 같은 관련 없는 시각적 노이즈를 배경으로 간주하여 무시하면서도, 텍스트나 무늬 변경과 같은 의미 있는 변화는 정확히 탐지한다.
• 거짓 경고는 주로 반사성 재료, 소규모 이동, 또는 인쇄되지 않은 점착 요소가 포함된 경우 발생한다. 이러한 경우는 시각적으로 다르게 보이지만 상업적으로는 의미가 없다.
• 감지 누락은 인간의 시각으로도 식별하기 어려울 정도로 미세한 변화, 검은 테두리가 배경으로 잘못 분류되는 경우, 또는 이미지 정렬 오류로 인해 탐지 신뢰도가 떨어지는 경우에 발생한다.