[論文レビュー] Rethinking Intersection Over Union for Small Object Detection in Few-Shot Regime

Pierre Le Jeune, Anissa Mokraoui|arXiv (Cornell University)|Jul 17, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文はSIoUを提案し、スケール適応型のIoUの変種として小物体検出を改善することを示す。これを損失関数および評価指標として、航空データと自然データの両方でその利点を示す。

ABSTRACT

In Few-Shot Object Detection (FSOD), detecting small objects is extremely difficult. The limited supervision cripples the localization capabilities of the models and a few pixels shift can dramatically reduce the Intersection over Union (IoU) between the ground truth and predicted boxes for small objects. To this end, we propose Scale-adaptive Intersection over Union (SIoU), a novel box similarity measure. SIoU changes with the objects' size, it is more lenient with small object shifts. We conducted a user study and SIoU better aligns than IoU with human judgment. Employing SIoU as an evaluation criterion helps to build more user-oriented models. SIoU can also be used as a loss function to prioritize small objects during training, outperforming existing loss functions. SIoU improves small object detection in the non-few-shot regime, but this setting is unrealistic in the industry as annotated detection datasets are often too expensive to acquire. Hence, our experiments mainly focus on the few-shot regime to demonstrate the superiority and versatility of SIoU loss. SIoU improves significantly FSOD performance on small objects in both natural (Pascal VOC and COCO datasets) and aerial images (DOTA and DIOR). In aerial imagery, small objects are critical and SIoU loss achieves new state-of-the-art FSOD on DOTA and DIOR.

研究の動機と目的

• IoUがFew-shot物体検出における小物体に対して持つ限界を動機づける。
• 小物体の位置を改善するためのスケール適応類似度指標（SIoU）を提案する。
• SIoUを既存指標と理論・経験的に比較分析する。
• SIoUをトレーニング損失と評価指標の双方として有効であることを示す。
• 航空データセット（DOTA/DIOR）と自然データセット（Pascal VOC/COCO）での改善を示す。

提案手法

• SIoUを、物体サイズに応じて拡張されたべき指数pとして定義する。pはパラメータgammaとkappaによって制御され、p = 1 - gamma * exp(- sqrt(w1*h1 + w2*h2) / (sqrt(2)*kappa))。
• 非重なりケースに対してGIoUの類似体であるGSIoUを、同じ冪をGIoUに適用することで拡張する。
• SIoUを損失/勾配の再重み付け、分布特性、そして人間の知覚との整合性を用いたユーザ調査を通じて分析する。
• FSOD設定とデータセットを横断してSIoUと一般化指標（NWD、DIoU/α-IoU、GIoU）を比較する。
• 回帰損失としてのSIoUと評価指標としてのSIoUを評価し、小物体および少数ショット領域に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 IoUはFew-shot領域の小物体定位を適切に扱えるか、スケール認識的指標はトレーニングと評価の双方を改善できるか。
• RQ2 SIoUは小物体の定位品質の人間知覚との整合性をIoUよりも高められるか。
• RQ3 SIoUベースの損失は航空・自然データセットの小物体でFSODの性能を改善するか。
• RQ4 FSOD設定におけるSIoUは既存指標（NWD、α-IoU、GIoU、GSIoU）とどう比較されるか。
• RQ5 トレーニング時の小物体と大きな物体のバランスを取るための実用的なパラメータ選択（gamma、kappa）は何か。

主な発見

基準	全体（基準）	S（基準）	M（基準）	L（基準）	全体（新規）	S（新規）	M（新規）	L（新規）
IoU	50.67	25.83	57.49	68.24	32.41	10.06	47.87	67.09
α-IoU	46.72	13.24	55.21	69.94	33.95	12.58	46.58	74.50
SIoU	53.62	24.07	61.91	67.34	39.05	16.59	54.42	74.49
NWD	50.79	19.19	58.90	67.90	41.65	28.26	50.16	65.06
GIoU	52.41	26.94	61.17	63.00	41.03	24.01	52.13	69.78
GSIoU	52.91	22.14	61.19	66.02	45.88	34.83	51.26	70.78

• SIoU（およびそのGSIoU拡張）はFSODにおいてIoUや他の代替指標より優れており、DOTA、DIOR、Pascal VOC、COCOの小物体で特に高い性能を示す。
• SIoUのスケール依存のべき乗pは小物体の局在誤差を緩和し、空中データセットで新規クラスの検出性能を改善する。
• ユーザ調査により、SIoUはIoUよりも人間の知覚と一致することが示され、特に小物体での評価が正当化される。
• SIoU損失はサイズによって勾配を再重み付けし、訓練時に小物体へ重点を置くことを可能にし、DOTA/DIORで新たな最先端FSOD結果を達成した。
• パラメータ選択（例：gamma、kappa）は小さな物体を強調するよう調整可能で、異なるデータセットに対する実証的指針が提供されている。