[論文レビュー] ObjectNet Dataset: Reanalysis and Correction

Ali Borji|arXiv (Cornell University)|Apr 4, 2020

Advanced Neural Network Applications参考文献 19被引用数 8

ひとこと要約

本稿はObjectNetデータセットを再評価し、Barbuらの元々の分析における重大な欠陥を特定する：複雑なシーンに対してオブジェクト認識モデルを適用しているのではなく、孤立したオブジェクトのクロップに対して適用していること。オブジェクトを分離し、再びモデルを適用することで、報告された性能低下の10–15%を回復させた。これは、シーンレベルの文脈が認識精度を著しく低下させることを示している。この修正にもかかわらず、深層モデルはObjectNet上で依然として性能を発揮できず、訓練データを超えた一般化の挑戦性が確認された。

ABSTRACT

Recently, Barbu et al introduced a dataset called ObjectNet which includes objects in daily life situations. They showed a dramatic performance drop of the state of the art object recognition models on this dataset. Due to the importance and implications of their results regarding generalization ability of deep models, we take a second look at their findings. We highlight a major problem with their work which is applying object recognizers to the scenes containing multiple objects rather than isolated objects. The latter results in around 20-30% performance gain using our code. Compared with the results reported in the ObjectNet paper, we observe that around 10-15 % of the performance loss can be recovered, without any test time data augmentation. In accordance with Barbu et al.'s conclusions, however, we also conclude that deep models suffer drastically on this dataset. Thus, we believe that ObjectNet remains a challenging dataset for testing the generalization power of models beyond datasets on which they have been trained.

研究の動機と目的

• 深層オブジェクト認識モデルのObjectNetデータセットにおける性能評価を再表現し、是正すること。
• ObjectNetにおける報告された性能低下が、モデルの一般化不能性に起因するのか、あるいは誤った評価手法に起因するのかを調査すること。
• オブジェクトのインスタンスをシーンから分離し、再評価することで、シーンレベルのごみの影響を定量化すること。
• ImageNetとObjectNetの間の性能ギャップが、主に分布シフトに起因するのか、あるいは評価プロトコルの問題に起因するのかを評価すること。
• ObjectNetを用いた深層学習モデルの一般化評価のための是正されたベンチマークを提供すること。

提案手法

• オブジェクトのバウンディングボックスを抽出し、それらを孤立したインスタンスにクロップすることで、ObjectNetの画像を再処理すること。
• 元のシーンと孤立オブジェクトクロップの両方に対して、同じ事前学習済みオブジェクト認識モデル（例：ResNet、DenseNet）を適用すること。
• 元のObjectNet評価と、孤立オブジェクト設定での再評価との間で、トップ1およびトップ5の正確度スコアを比較すること。
• 再現性を確保するため、元のObjectNetリポジトリから公開済みのコードとデータを用いること。
• ObjectNetデータセット内の失敗事例とラベルエラーを分析し、データ品質とモデル性能への影響を評価すること。
• 一貫した比較を保証するため、113のImageNet被覆カテゴリでモデルの性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 ObjectNetにおけるシーンレベルのごみは、ImageNetと比較して深層モデルの報告された性能低下にどの程度寄与しているか。
• RQ2 オブジェクト認識モデルを全シーンではなく、孤立オブジェクトクロップで評価することで、ImageNetとObjectNetの間の性能ギャップを顕著に縮小できるか。
• RQ3 元の評価における方法論的欠陥（例：複数オブジェクトを含むシーンに認識モデルを誤って適用すること）が、観察された性能低下のどの程度に起因しているか。
• RQ4 オブジェクトレベルのラベルエラー、隠蔽、照明、視点の変化が、ObjectNetにおけるモデルの失敗に果たす役割は何か。
• RQ5 孤立オブジェクトを認識する際、深層モデルのObjectNetにおける性能は、人間水準の性能と比べてどの程度か。

主な発見

• オブジェクト認識モデルを全シーンではなく、孤立オブジェクトクロップに適用することで、元のObjectNet研究で報告された性能低下の約10–15%を回復させた。
• オブジェクトを分離することで得られる性能向上は、複数のモデルで一貫しており、元の評価におけるシーンレベルのごみが主要な交絡要因であることが示された。
• この是正にもかかわらず、深層モデルはImageNetと比較してObjectNetで顕著な性能低下を示しており、一般化の挑戦性が確認された。
• 著者らは、ObjectNetに複数のデータ品質の問題を特定した。具体的には、誤ったラベル、隠蔽、極端な照明、曖昧なカテゴリ（例：Tシャツ vs. ドレス）が含まれる。
• 一部のオブジェクトは、テキストラベルがなければ認識できない（例：ペットフード容器）、また、いくつかのカテゴリは頻繁に混同される（例：サンダル vs. ドレスシューズ、封筒 vs. 手紙）。
• 本研究は、今後のベンチマークにおいて、オブジェクト認識とオブジェクト検出を分離し、文脈に配慮した評価プロトコルを検討すべきであると提言する。