[논문 리뷰] Image similarity using Deep CNN and Curriculum Learning

Srikar Appalaraju, Vineet Chaoji|arXiv (Cornell University)|2017. 09. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 61

한 줄 요약

본 논문은 SimNet을 제안한다. 이는 커리큘럼 학습에서 영감을 받은 온라인 페어 마이닝과 다중 스케일 임베딩을 이용하여 전통적인 CNN보다 미세한 유사성을 더 잘 포착하는 이미지 유사성용 심층 시암 네트워크이다.

ABSTRACT

Image similarity involves fetching similar looking images given a reference image. Our solution called SimNet, is a deep siamese network which is trained on pairs of positive and negative images using a novel online pair mining strategy inspired by Curriculum learning. We also created a multi-scale CNN, where the final image embedding is a joint representation of top as well as lower layer embedding's. We go on to show that this multi-scale siamese network is better at capturing fine grained image similarities than traditional CNN's.

연구 동기 및 목표

• 참고 이미지를 주었을 때 시각적으로 유사한 이미지를 찾는 작업의 필요성을 제시한다.
• 시암 네트워크 아키텍처를 사용하여 양성/음성 쌍 학습을 위한 심층 학습 솔루션(SimNet)을 개발한다.
• 정보성 있는 학습 쌍을 선택하기 위해 커리큘럼 학습에서 영감을 받은 온라인 페어 마이닝 전략을 도입한다.
• 상위 및 하위 계층 임베딩을 융합하여 더 풍부한 이미지 표현을 얻기 위한 다중 스케일 CNN을 도입한다.

제안 방법

• 양성/음성 이미지 쌍으로 훈련된 심층 시암 네트워크(SimNet)를 구축한다.
• 학습 중 정보성 쌍을 선택하기 위해 Curriculum Learning에서 영감을 받은 온라인 페어 마이닝 전략을 적용한다.
• 최종 임베딩이 상위 계층 임베딩과 하위 계층 임베딩의 결합 표현이 되도록 다중 스케일 CNN을 설계한다.
• 다중 스케일 시암 임베딩을 이미지 유사성 작업에서 전통적 CNN 기반 임베딩과 비교한다.

실험 결과

연구 질문

• RQ1 시암 네트워크 아키텍처를 사용하여 시각적으로 유사한 이미지를 검색하는 데 SimNet은 얼마나 효과적인가?
• RQ2 커리큘럼 학습에 의해 안내된 온라인 페어 마이닝이 학습 효율성과 모델 성능을 향상시키는가?
• RQ3 다중 스케일 CNN에서 상위 및 하위 계층 임베딩의 결합이 표준 CNN 임베딩보다 더 미세한 유사성을 제공하는가?

주요 결과

• 다중 스케일 시암 네트워크는 전통적인 CNN보다 미세한 이미지 유사성을 더 잘 포착한다.
• 커리큘럼 학습에 의해 안내된 온라인 페어 마이닝은 시암 네트워크를 정보성 이미지 쌍으로 학습하는 데 사용된다.
• 제안된 접근법은 유사성 판단을 개선하기 위해 다중 CNN 계층의 임베딩 융합을 강조한다.