[논문 리뷰] An Advert Creation System for Next-Gen Publicity

Atul Nautiyal, Killian McCabe외 8명|arXiv (Cornell University)|2018. 08. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 6

한 줄 요약

이 논문은 VGG 기반 분류, 인코더-디코더 세그멘테이션, KLT 트래킹을 통한 포isson 이미지 편집을 사용하여 영상 시퀀스에 광고를 부드럽고 정확하게 통합하는 엔드 투 엔드 딥러닝 시스템을 제시한다. 이 시스템은 간판을 탐지하고 새로운 광고로 교체함으로써 실시간으로 시간적으로 일관된 광고 삽입을 가능하게 하며, 차세대 개인화된 온라인 광고 홍보를 위한 혁신적인 솔루션을 제공한다.

ABSTRACT

With the rapid proliferation of multimedia data in the internet, there has been a fast rise in the creation of videos for the viewers. This enables the viewers to skip the advertisement breaks in the videos, using ad blockers and 'skip ad' buttons -- bringing online marketing and publicity to a stall. In this paper, we demonstrate a system that can effectively integrate a new advertisement into a video sequence. We use state-of-the-art techniques from deep learning and computational photogrammetry, for effective detection of existing adverts, and seamless integration of new adverts into video sequences. This is helpful for targeted advertisement, paving the path for next-gen publicity.

연구 동기 및 목표

• 온라인 영상 콘텐츠에서 광고 차단 소프트웨어와 '광고 스킵' 기능으로 인한 광고 효과 감소 문제를 해결하기 위해.
• 기존 영상 시퀀스에 동적으로 새로운 광고를 삽입하여 개인화된 타겟팅 광고를 가능하게 하기 위해.
• 삽입된 광고가 영상 프레임 간 시각적 일致성과 시간적 안정성을 확보할 수 있는 시스템을 개발하기 위해.
• 광고 통합 전에 탐지된 간판 위치를 수동으로 보완할 수 있는 사용자 友好的 웹 인터페이스를 제공하기 위해.
• 최신 컴퓨터 비전 기법을 활용하여 광고 인식, 국지화 및 부드러운 통합을 위한 완전 자동화된 파이프라인을 구현하고 실증하기 위해.

제안 방법

• 이중 분류(유무)를 위한 전이 학습 및 최상위 5개 레이어 미세조정을 적용한 VGG 기반 딥 네트워크를 사용하여 간판 탐지.
• 인코더-디코더 U-Net 스타일 아키텍처가 간판 국지화를 위한 확률적 히트맵을 생성한 후, 임계값 설정 및 윤곽선 탐지로 가장 큰 경계 직사각형을 식별.
• 새로운 광고의 조명 및 색조를 원본 장면과 일치시키기 위해 포isson 이미지 편집을 사용하여 시각적 현실감을 확보.
• 삽입된 광고가 영상 프레임 간 시간적으로 일관되게 유지되도록 Kanade-Lucas-Tomasi (KLT) 특징 트래킹을 적용.
• 프론트엔드에 Vue.js, 백엔드에 Express/Node.js, 성능 중심의 광고 통합 모듈에는 C++를 사용하여 웹 기반 도구로 시스템을 구현.
• 탐지 및 국지화 모델 훈련을 위해 외부 환경 장면과 함께 애너테이션된 간판을 포함한 커스터마이즈된 데이터셋을 사용하며, 추론은 Python Flask API를 통해 수행.

실험 결과

연구 질문

• RQ1 딥러닝 기반 시스템이 높은 정확도와 낮은 지연 시간으로 영상 프레임 내 간판을 어떻게 탐지할 수 있는가?
• RQ2 딥 네트워크를 사용하여 복잡한 외부 환경 장면에서 간판을 국지화하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 삽입된 광고가 영상 시퀀스에 어떻게 부드럽게 통합될 수 있으며, 시각적 일致성과 시간적 안정성을 유지할 수 있는가?
• RQ4 수동 사용자 보정이 광고 삽입을 위한 간판 모서리 탐지 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 실제 마케팅 응용을 위해 웹 기반 도구로 배포 가능한 완전 자동화된 엔드 투 엔드 시스템을 구축할 수 있는가?

주요 결과

• ImageNet 사전 학습을 기반으로 한 커스터마이즈된 데이터셋으로 미세조정된 VGG 기반 분류기로 간판 탐지에 높은 정확도를 달성.
• 인코더-디코더 세그멘테이션 모델이 확률적 히트맵 생성 및 최소 경계 직사각형을 갖는 가장 큰 윤곽선 추출을 통해 간판 국지화에 성공.
• 포isson 이미지 편집이 새로운 광고의 색조와 조명을 원본 장면과 효과적으로 일치시켜 시각적 잡음을 최소화.
• KLT 트래킹이 삽입된 광고의 프레임 간 일관된 운동을 보장하여 시간적 일관성을 유지.
• 웹 기반 프로토타입이 실시간 탐지, 간판 모서리의 수동 보정, 저지연 성능을 갖춘 엔드 투 엔드 광고 통합을 가능하게 함.
• 기존 문헌이나 Mirriad의 3D 오브제트 삽입과 같은 상용 도구에서 확보되지 않은, 차세대 타겟팅 광고를 위한 혁신적인 완전 자동화된 파이프라인을 시스템이 구현함.