[論文レビュー] Cultivating DNN Diversity for Large Scale Video Labelling

Mikel Bober-Irizar, Syed Sameed Husain+2 more|arXiv (Cornell University)|Jul 13, 2017

Multimodal Machine Learning Applications参考文献 21被引用数 9

ひとこと要約

本論文では、深層ニューラルネットワーク（DNN）の多様性を、アーキテクチャの変化、ドロップアウト率の調整、さらには過学習まで含めた手法によって向上させることで、大規模な動画ラベリングにおけるアンサンブル性能の向上を提案している。Yetiチームの多様なアンサンブルは、YouTube-8M Kaggleコンペティションで第7位を達成し、予期しないトレーニング戦略が、特に困難な誤分類例において、モデルの多様性と最終的な予測精度を顕著に向上させることを示している。

ABSTRACT

We investigate factors controlling DNN diversity in the context of the Google Cloud and YouTube-8M Video Understanding Challenge. While it is well-known that ensemble methods improve prediction performance, and that combining accurate but diverse predictors helps, there is little knowledge on how to best promote & measure DNN diversity. We show that diversity can be cultivated by some unexpected means, such as model over-fitting or dropout variations. We also present details of our solution to the video understanding problem, which ranked #7 in the Kaggle competition (competing as the Yeti team).

研究の動機と目的

• 大規模な動画分類において、深層ニューラルネットワーク（DNN）間の多様性を効果的に促進し、測定する方法を調査すること。
• 単一の大規模DNNをトレーニングするのでは十分でないか、多様なモデルのアンサンブルが優れた性能を発揮するかを特定すること。
• 一般化性能と予測精度を向上させる、非直感的な実用的手法を同定し、DNNの多様性を育成すること。
• 多様性が、極端な誤分類の低減およびマルチラベル動画分類におけるGAP20指標への影響を分析すること。

提案手法

• 構造的多様性を促進するために、インフレートド 3D ConvNets や ResNeXt を含む、異なるアーキテクチャの複数のDNNをトレーニングする。
• 異なるDNN間でドロップアウト率を調整することで、統計的および活性化レベルの多様性を誘導する。
• 特定のサブセットに対して意図的に過学習を引き起こすDNNをトレーニングすることで、予想外にアンサンブルの多様性に寄与した。
• 誤りパターンが異なる複数のDNNを組み合わせることで、集団的な誤分類を低減する多様性に配慮したアンサンブル戦略を用いる。
• 誤って予測された例の集合の共通部分と和集合（ε_h,θ および Υ_H,θ）を用いて多様性を測定し、極端な誤差に対しては θ=0.9 を使用する。
• 誤分類例の予測スコアのヒストグラムを分析することで、アンサンブル全体における予測誤差の変化を追跡する。

実験結果

リサーチクエスチョン

• RQ1 標準的なアーキテクチャ的・データベース的手法を超えて、大規模な動画分類におけるDNN多様性をどのように効果的に育成できるか？
• RQ2 DNNアンサンブルにおける多様性に、モデルの過学習がどの程度寄与するか？
• RQ3 DNN間でドロップアウト率を変えることで、個々のモデルが劣悪であってもアンサンブル性能が顕著に向上するか？
• RQ4 多様なDNNを含めることで、極端な誤分類（例：誤差 >0.9）の低減にどのような影響を与えるか？
• RQ5 YouTube-8Mの動画理解チャレンジにおいて、単一の大規模DNNのトレーニングが、多様なDNNのアンサンブルを上回る性能を発揮するか？

主な発見

• Yetiチームの多様なDNNアンサンブルは、YouTube-8M Kaggleコンペティションで最終的に第7位を達成し、多様性指向設計の有効性を示した。
• アンサンブルに追加される多様なモデルが増えるにつれて、すべてのDNNが誤分類する例を表す集合 Υ_H,θ のサイズが継続的に減少し、多様性の増大を確認した。
• 誤分類予測の和集合（Υ′_H,θ）はアンサンブルの拡大に伴い拡大し、各新しいDNNが独自の誤りパターンを寄与していることを示しており、多様性が裏付けられた。
• ヒストограмの分析から、5つの多様なDNNを追加することで、極めて誤った予測（誤差 >0.9）の数が減少し、そのスコアが有害でない値にシフトした。これによりGAP20が向上した。
• 驚くべきことに、個々のDNNの過学習が、それらが異なる誤りを犯すことで、アンサンブル全体の多様性に正の寄与をした。
• 本研究では、個々のモデルの精度が同等であっても、注意深く多様性を確保したアンサンブルの方が、単一の大規模DNNのトレーニングよりも性能が劣ることが確認された。