[논문 리뷰] How to Make an Image More Memorable? A Deep Style Transfer Approach

Aliaksandr Siarohin, Gloria Zen외 4명|arXiv (Cornell University)|2017. 04. 06.

Visual Attention and Saliency Detection참고 문헌 6인용 수 7

한 줄 요약

이 논문은 세 개의 네트워크 아키텍처(스코어러, 시냅서, 학습 가능한 선택기)를 사용하여 입력 이미지의 기억 가능성(마음에 남는 정도)을 향상시키기 위해 최적의 스타일 필터('스타일 시드')를 자동으로 선택하는 딥러닝 프레임워크를 제안한다. 이 방법은 가장 효과적인 스타일 변환을 검색하여 기준 이미지 대비 평균 25% 향상된 기억 가능성 점수를 달성하며, 이미지 편집 시 수작업 기반의 시행착오를 크게 줄인다.

ABSTRACT

Recent works have shown that it is possible to automatically predict intrinsic image properties like memorability. In this paper, we take a step forward addressing the question: "Can we make an image more memorable?". Methods for automatically increasing image memorability would have an impact in many application fields like education, gaming or advertising. Our work is inspired by the popular editing-by-applying-filters paradigm adopted in photo editing applications, like Instagram and Prisma. In this context, the problem of increasing image memorability maps to that of retrieving "memorabilizing" filters or style "seeds". Still, users generally have to go through most of the available filters before finding the desired solution, thus turning the editing process into a resource and time consuming task. In this work, we show that it is possible to automatically retrieve the best style seeds for a given image, thus remarkably reducing the number of human attempts needed to find a good match. Our approach leverages from recent advances in the field of image synthesis and adopts a deep architecture for generating a memorable picture from a given input image and a style seed. Importantly, to automatically select the best style a novel learning-based solution, also relying on deep models, is proposed. Our experimental evaluation, conducted on publicly available benchmarks, demonstrates the effectiveness of the proposed approach for generating memorable images through automatic style seed selection

연구 동기 및 목표

• 입력 이미지의 기억 가능성을 자동으로 향상시키면서도 고수준의 콘텐츠를 유지하는 열린 문제를 해결하기 위해.
• 이미지 향상에 필요한 수작업 기반 필터 선택의 시간과 노력을 줄이기 위해 최적의 스타일 시드를 자동으로 검색하는 데 목적이 있다.
• 기억 가능성에 미치는 영향을 예측하여 스타일 필터의 순위를 매기는 학습 기반 시스템을 개발하기 위해.
• 외부 기억 가능성 스코어러를 사용하여 공개 벤치마크에서 접근 방식의 효과성을 검증하기 위해.
• 이 프레임워크를 미적 품질이나 정서적 영향 등 다른 이미지 성질로 확장할 잠재력을 탐색하기 위해.

제안 방법

• 프레임워크는 이미지-스타일 쌍의 기억 가능성 점수를 예측하기 위해 딥 네트워크 기반의 스코어러를 사용한다.
• 시냅서 네트워크는 선택된 시드의 스타일을 입력 이미지에 전이하여 기억에 남는 이미지를 생성한다.
• 학습 가능한 선택기 네트워크는 예측된 기억 가능성 향상도를 기반으로 후보 스타일 시드를 순위 매긴다. 이는 예측된 향상도와 실제 향상도의 차이를 최소화하는 손실 함수를 사용한다.
• 선택기는 입력 이미지, 스타일 시드, 기억 가능성 갭 점수(출력과 입력의 기억 가능성 차이)로 구성된 쌍의 데이터를 기반으로 훈련된다.
• 시스템은 상위 N개의 스타일 시드 중에서 예측된 기억 가능성 향상도가 가장 높은 것을 선별하는 검색 메커니즘을 구현한다.
• 성능 검증을 위해 실제 세계 벤치마크에서의 성능을 확인하기 위해 외부 기억 가능성 스코어러(MemNet)를 사용한다.

실험 결과

연구 질문

• RQ1 주어진 이미지의 기억 가능성을 높이기 위해 가장 효과적인 스타일 필터를 자동으로 식별할 수 있는가?
• RQ2 학습된 선택기 네트워크가 무작위 또는 히우리스틱 기반의 필터 선택보다 이미지 기억 가능성을 얼마나 높게 향상시킬 수 있는가?
• RQ3 후보 스타일 시드의 수가 최종 기억 가능성 향상도에 어떤 영향을 미치는가?
• RQ4 다양한 이미지 콘텐츠에 대해 이 방법이 일반화될 수 있는가? 동시에 의미적 콘텐츠는 유지되는가?
• RQ5 이 프레임워크는 예술적 품질이나 정서적 강도 등 다른 이미지 성질로도 확장 가능한가?

주요 결과

• 제안된 S-cube 방법은 상위 10개의 스타일 시드를 사용할 때 테스트 세트에서 평균 기억 가능성 갭 향상도 0.25를 달성하여 기준 이미지에 비해 뚜렷한 향상을 보였다.
• 상위 3개의 시드만 고려했을 때 평균 기억 가능성 갭이 가장 높았으며(0.32), 이는 선택기가 가장 영향력 있는 스타일을 효과적으로 추출했음을 보여준다.
• 스타일 시드의 풀이 커질수록 성능이 향상되었으며, 10개에서 100개로 확장했을 때 평균 기억 가능성 갭 향상도가 10% 증가했다.
• 선택기가 예측한 기억 가능성 점수(R)와 외부 스코어러(E) 사이의 상관계수는 약 0.80로 높아, 스타일 시드 순위 매기기에 있어 신뢰성이 검증되었다.
• 통제된 비교 실험에서 이 방법은 랜덤 및 기준 필터 선택 전략보다 평균 20% 높은 기억 가능성 향상도를 기록하며 일관되게 슈퍼어리어를 보였다.
• 시각적 결과는 합성된 이미지가 의미적 콘텐츠를 유지하면서도 더 높은 기억 가능성을 확보했음을 보여주어, 콘텐츠 유지 향상 기술의 성공을 확인했다.