[論文レビュー] An Advert Creation System for Next-Gen Publicity

Atul Nautiyal, Killian McCabe+8 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Image and Video Retrieval Techniques参考文献 3被引用数 6

ひとこと要約

本論文は、VGGベースの分類、エンコーダデコーダーによるセグメンテーション、KLTトラッキングを用いたポisson画像編集を組み合わせることで、ビデオシーケンスに広告をシームレスかつターゲットに合わせて統合するエンドツーエンドのディープラーニングシステムを提示している。このシステムにより、リアルタイムかつ時間的に一貫性のある広告挿入が可能となり、次世代のパーソナライズドオンラインプロモーションのための画期的なソリューションを提供する。

ABSTRACT

With the rapid proliferation of multimedia data in the internet, there has been a fast rise in the creation of videos for the viewers. This enables the viewers to skip the advertisement breaks in the videos, using ad blockers and 'skip ad' buttons -- bringing online marketing and publicity to a stall. In this paper, we demonstrate a system that can effectively integrate a new advertisement into a video sequence. We use state-of-the-art techniques from deep learning and computational photogrammetry, for effective detection of existing adverts, and seamless integration of new adverts into video sequences. This is helpful for targeted advertisement, paving the path for next-gen publicity.

研究の動機と目的

• オンライン動画コンテンツにおけるアドブロッカーおよび「広告をスキップ」機能の増加による広告効果の低下という課題に対処すること。
• 既存の動画シーケンスに新しい広告を動的に挿入することで、パーソナライズドでターゲット広告を可能にすること。
• 挿入された広告の視覚的整合性とフレーム間の一貫性を保証するシステムを開発すること。
• 広告統合の前に、検出された看板位置の手動での微調整が可能なユーザーフレンドリーなWebインターフェースを提供すること。
• 最先端のコンピュータビジョン技術を用いて、広告認識、局所化、およびシームレスな統合を一括して行う完全自動化されたパイプラインを実証すること。

提案手法

• バイナリ看板検出（存在／非存在）に、ImageNet事前学習を用いた転移学習と最後の5層を微調整したVGGベースの深層ニューラルネットワークが使用されている。
• エンコーダデコーダー構造のU-Netスタイルアーキテクチャが、看板の局所化のための確率的ヒートマップを生成し、その後、しきい値処理と輪郭検出を経て最大のバウンディング矩形が特定される。
• 新しい広告の照明および色調を元のシーンに合わせるためにポisson画像編集が用いられ、視覚的なリアリズムが確保される。
• Kanade-Lucas-Tomasi (KLT) 特徴トラッキングが、動画フレーム間で挿入された広告の時間的整合性を維持するために適用されている。
• システムは、フロントエンドにVue.js、バックエンドにExpress/Node.js、パフォーマンスが求められる広告統合モジュールにはC++を用いたWebベースのツールとして実装されている。
• 検出および局所化モデルの学習に、アノテーション済み看板を含む屋外シーンのカスタムデータセットが使用され、推論はPythonのFlask APIを介して実行されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてディープラーニングベースのシステムが、高い精度と低遅延を実現しながら動画フレーム内の看板を検出できるか？
• RQ2 複雑な屋外シーンにおいて、深層ニューラルネットワークを用いて看板を効果的に局所化する方法は何か？
• RQ3 視覚的整合性と時間的安定性を保ちながら、新しい広告を動画シーケンスにどのようにシームレスに統合できるか？
• RQ4 手動によるユーザーの微調整は、広告挿入のための看板コーナー検出精度をどの程度向上できるか？
• RQ5 完全自動化されたエンドツーエンドのシステムとして、動的広告挿入をWebベースのツールとして実装・展開することは可能か？

主な発見

• ImageNet事前学習を用いたカスタムデータセットで微調整されたVGGベースの分類器により、看板検出において高い精度が達成された。
• エンコーダデコーダーによるセグメンテーションモデルは、確率的ヒートマップを生成し、最小バウンディング矩形を伴う最大の輪郭を抽出することで、看板の局所化に成功した。
• ポisson画像編集は、新しい広告の色調と照明を元のシーンに効果的に合わせ、視覚的アーティファクトを最小限に抑えた。
• KLTトラッキングにより、動画フレーム間で挿入された広告の動きが一貫し、時間的整合性が維持された。
• Webベースのプロトタイプは、リアルタイムでの検出、看板コーナーの手動微調整、エンドツーエンドの広告統合を低遅延で実現した。
• 本システムは、既存の文献やMirriadの3Dオブジェクト挿入のような商用ツールでは入手できない、次世代のターゲット広告向けに完全自動化されたパイプラインを実証した。