[論文レビュー] A Parallel Implementation of Computing Mean Average Precision

Beinan Wang|arXiv (Cornell University)|Jun 19, 2022

Machine Learning and Data Classification被引用数 14

ひとこと要約

本論文では、オブジェクト検出のための平均平均精度（mAP）計算の並列的でハードウェア加速された実装を提案する。従来の逐次ループを、PyTorchおよびTensorFlowにおけるブロードキャスト、マスク、インデクシングを用いたベクトル化演算に置き換える。この手法により、最小限のパフォーマンスオーバーヘッドで訓練中にリアルタイムのmAP評価が可能となり、標準的な逐次実装と比較して0.62%以内の差異を示す。これは、著しく効率的でありながらもほぼ同一の正確性を達成していることを示している。

ABSTRACT

Mean Average Precision (mAP) has been widely used for evaluating the quality of object detectors, but an efficient implementation is still absent. Current implementations can only count true positives (TP's) and false positives (FP's) for one class at a time by looping through every detection of that class sequentially. Not only are these approaches inefficient, but they are also inconvenient for reporting validation mAP during training. We propose a parallelized alternative that can process mini-batches of detected bounding boxes (DTBB's) and ground truth bounding boxes (GTBB's) as inference goes such that mAP can be instantly calculated after inference is finished. Loops and control statements in sequential implementations are replaced with extensive uses of broadcasting, masking, and indexing. All operators involved are supported by popular machine learning frameworks such as PyTorch and TensorFlow. As a result, our implementation is much faster and can easily fit into typical training routines. A PyTorch version of our implementation is available at https://github.com/bwangca/fast-map.

研究の動機と目的

• 深層学習の訓練パイプラインと互換性がなく、非効率である既存のmAP計算手法の問題を解決すること。
• ミニバッチの検出結果と真値ボックスを並列処理することで、訓練中にリアルタイムのmAP評価を可能にすること。
• 検出結果をディスクにダンプする必要がある逐次実装に起因するI/Oボトルネックを排除すること。
• PyTorchおよびTensorFlowと互換性があり、ハードウェア加速が可能なフレームワークネイティブなソリューションを提供すること。
• 検証mAPに基づいてモデル重みを選択できるようにすることで、モデル選択の忠実性を向上させること。

提案手法

• クラス固有の検出結果に対する逐次ループを、ミニバッチ全体にわたるブロードキャスト、マスク、インデクシングを用いたベクトル化演算に置き換える。
• 各要素が信頼度スコア順にソートされた検出結果に対応するように、精度Pと再現率Qのベクトルとして表現する。
• 台形積分を用いてPR曲線全体を統合する式：(P[i] + P[i-1]) * (Q[i] - Q[i-1]) / 2 を用い、クラスごとに合計・平均化する。
• 再現率の閾値に一致させるために、タイリングとブロードキャストを用いて、完全なPR曲線評価と特定の再現率レベルでの評価を両立する。
• PyTorchおよびTensorFlowの最適化されたオペレータを活用し、GPU加速を実現するとともに、訓練ループへのスムーズな統合を可能にする。
• 論理マスクとインデクシングを用いて、TP、FP、無視された検出結果を統一されたテンソル表現で処理する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出のための深層学習訓練中に、mAPを効率的かつリアルタイムに計算できるか？
• RQ2 mAP計算パイプラインをどのように再設計すれば、I/Oオーバーヘッドなしにバッチ処理と並列推論を可能にできるか？
• RQ3 並列的ベクトル化mAP実装と標準的な逐次手法との間で、数値的な差異はどの程度か？
• RQ4 ハードウェア加速は、訓練ワークフローにおけるmAP評価パフォーマンスをどの程度向上できるか？
• RQ5 フレームワークネイティブで微分可能であるmAP実装を、標準的な訓練ルーチンに統合できるか？

主な発見

• 提案手法は、Pascal VOC 2007テストセットでmAP 0.6658を達成した。これは、逐次ベースラインの0.6617と比較して、0.62%の相対差異を示している。
• mAP値の差異は、アルゴリズム的な欠陥ではなく、計算フレームワーク内の低レベルオペレータの差異に起因しており、モデル評価においては無視できる程度である。
• 本手法は、全ミニバッチの検出結果と真値ボックスを一度に処理するため、クラスごとの逐次処理の必要がなくなる。
• 実装はPyTorchおよびTensorFlowと完全に互換性があり、両フレームワークの最適化されたオペレータを活用してハードウェア加速を実現している。
• ベクトル化アプローチにより、ディスクI/Oのオーバーヘッドが排除され、パフォーマンス劣化なしに訓練中にリアルタイムmAP評価が可能になった。
• タイリングとブロードキャスト技術を用いて、完全なPR曲線統合と特定の再現率レベルでの評価を両立している。