[論文レビュー] ADNet: A Deep Network for Detecting Adverts

Murhaf Hossari|arXiv (Cornell University)|Nov 9, 2018

Video Analysis and Summarization参考文献 11被引用数 12

ひとこと要約

本稿では、VGG19を模倣した独自アーキテクチャを用いて屋外映像フレーム内の看板を自動で検出する深層畳み込みニューラルネットワークADNetを提案する。18,945枚の画像から構成される合成データセットで学習されたADNetは、分類精度94％を達成しており、ベースラインのInception-v3（56％）を著しく上回り、1フレームあたり57msで映像フレームを処理できるため、メディア制作における自動製品配置のリアルタイム実装が可能となる。

ABSTRACT

Online video advertising gives content providers the ability to deliver compelling content, reach a growing audience, and generate additional revenue from online media. Recently, advertising strategies are designed to look for original advert(s) in a video frame, and replacing them with new adverts. These strategies, popularly known as product placement or embedded marketing, greatly help the marketing agencies to reach out to a wider audience. However, in the existing literature, such detection of candidate frames in a video sequence for the purpose of advert integration, is done manually. In this paper, we propose a deep-learning architecture called ADNet, that automatically detects the presence of advertisements in video frames. Our approach is the first of its kind that automatically detects the presence of adverts in a video frame, and achieves state-of-the-art results on a public dataset.

研究の動機と目的

• 後処理における広告統合のための候補フレームを特定する手作業で時間がかかるプロセスを自動化すること。
• 映像フレーム内に存在する広告（特に看板）を検出する深層学習ベースのソリューションが不足している問題に対処すること。
• 標的広告や製品配置に活用可能な、効率的でリアルタイムの看板検出を可能にするシステムの開発。
• 公開データセット上で、既存のアーキテクチャ（例：Inception-v3）と比較して、独自に設計した深層学習モデルの性能をベンチマークすること。
• 今後の研究において、モデルを屋内シーン（映画やテレビ番組など）の広告検出に拡張可能かどうかを検討すること。

提案手法

• ADNetは、屋外シーンにおける看板検出を目的として、VGG19を模倣した独自の畳み込みニューラルネットワークアーキテクチャである。
• モデルは、畳み込み層とプーリング層の系列に続き、ReLUおよびソフトマックス活性化関数を用いた全結合層で構成される。
• 学習には確率的勾配降下法を用い、学習率0.0001、バッチサイズ16、カテゴリカル交差エントロピー損失関数を設定した。
• 学習データセットは18,945枚の画像から構成され、うち9,395枚がポジティブ（看板を含む）で、9,550枚がネガティブ（看板なし）の例である。
• モデルの評価には、(TP + TN) / (TP + TN + FP + FN) で定義される分類精度が用いられた。
• 同一のハイパーパrameterを用いて、同じデータセットで微調整された事前学習済みInception-v3モデルを用いた比較ベンチマークが実施された。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、手作業による1フレームごとの点検に依存せず、屋外映像フレーム内に看板が存在するかを自動で検出できるか？
• RQ2 独自に設計されたCNN（ADNet）の性能は、最先端の事前学習済みモデル（Inception-v3）と比較して、看板検出タスクにおいてどのように異なるか？
• RQ3 ADNetの実世界の映像フレームにおける推論速度はどの程度で、生産環境でのリアルタイム処理をサポートできるか？
• RQ4 ADNetモデルで誤分類を引き起こす主な視覚的誤解（オブジェクトの形状や外観が看板に類似しているもの）は何か？
• RQ5 このモデルは、映画やテレビ番組などの屋内シーンにおける広告検出に拡張可能か？

主な発見

• ADNetはテストセットで94％の分類精度を達成しており、ベースラインのInception-v3モデル（56％）を著しく上回っている。
• GPU搭載システム上で1フレームあたり57msで処理されるため、生産用途に適したリアルタイム推論能力を示している。
• 視覚的分析から、誤分類の主な原因は、トラックの後部、ソーラーパネルスタンド、道路標識など、看板と類似した形状や外観を持つ物体であることが判明した。
• 定性的な結果から、ポジティブ例（看板を含むフレーム）とネガティブ例（看板なし）の両方を高い精度で正しく同定している。
• ADNetとInception-v3の性能差は、特定タスクに最適化されたアーキテクチャが、特殊なデータセットで微調整された汎用的で事前学習済みモデルを上回ることを示している。
• 結果から、深層学習が広告関連のフレームを効果的に自動検出できることを検証し、メディアおよび広告分野における後処理ワークフローの簡素化が可能であることが示された。