[論文レビュー] Large Loss Matters in Weakly Supervised Multi-Label Classification

Youngwook Kim, Jae Myung Kim+2 more|arXiv (Cornell University)|Jun 8, 2022

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、弱教師ありマルチラベル分類のための新規な大損失再重み付け戦略を提案する。訓練中に相対的損失が大きいサンプルを優先することで、モデルの一般化性能を向上させる。各ミニバッチ内の損失の相対的大きさに基づいて動的に損失重みを調整することで、SOTA性能を達成し、ベースライン手法と比較してNUSWIDEで最大+6.6 mAP、OpenImages V3で+0.4 mAPの向上を達成した。

ABSTRACT

Weakly supervised multi-label classification (WSML) task, which is to learn a multi-label classification using partially observed labels per image, is becoming increasingly important due to its huge annotation cost. In this work, we first regard unobserved labels as negative labels, casting the WSML task into noisy multi-label classification. From this point of view, we empirically observe that memorization effect, which was first discovered in a noisy multi-class setting, also occurs in a multi-label setting. That is, the model first learns the representation of clean labels, and then starts memorizing noisy labels. Based on this finding, we propose novel methods for WSML which reject or correct the large loss samples to prevent model from memorizing the noisy label. Without heavy and complex components, our proposed methods outperform previous state-of-the-art WSML methods on several partial label settings including Pascal VOC 2012, MS COCO, NUSWIDE, CUB, and OpenImages V3 datasets. Various analysis also show that our methodology actually works well, validating that treating large loss properly matters in a weakly supervised multi-label classification. Our code is available at https://github.com/snucml/LargeLossMatters.

研究の動機と目的

• マルチラベル画像分類におけるノイズが混入した不完全なラベルの課題に対処すること。
• 訓練中の損失が大きいサンプルに注目することで、弱教師あり学習におけるモデルの一般化性能を向上させること。
• 各ミニバッチ内の損失の相対的大きさに基づいて、しきい値を動的に適応させる損失再重み付けメカニズムの開発。
• 損失再重み付け戦略における相対的しきい値と絶対的しきい値の比較。
• 可視化によるクラス活性マップの改善とモデルの解釈可能性の向上。

提案手法

• 相対的損失しきい値のメカニズムを導入し、しきい値 $ R(t) = R_0 - t \cdot \Delta_{\text{rel}} $ をミニバッチ内の損失の相対的大きさに応じて時間とともに調整する。
• ランダム、クラス単位、またはサンプル単位の再重み付けで異なる3つの変種—LL-R、LL-Ct、LL-Cp—を提案する。
• 絶対損失の変種も導入し、$ R(t) = R_0 - t \cdot \Delta_{\text{abs}} $ として、相対順位ではなく絶対損失値を用いる。
• 性能最適化のため、ハイパーパramータ $ \Delta_{\text{rel}} $、$ \Delta_{\text{abs}} $、$ R_0 $ を離散範囲内で探索する。
• モデルはエンドツーエンドまたは線形プロービングで訓練され、学習セットの20%を検証用に使用し、mAPに基づいて最良のモデルを選択する。
• クラス活性マップ（CAMs）を可視化し、Naive AN や ROLE といったベースライン手法と比較して、局所化の正確性を評価する。

Figure 1 : Class Activation Mapping results in COCO test images.

実験結果

リサーチクエスチョン

• RQ1 相対的損失が大きいサンプルを優先することで、弱教師ありマルチラベル分類の性能が向上するか？
• RQ2 mAPと頑健性の観点から、相対的損失しきい値と絶対的損失しきい値のどちらが優れているか？
• RQ3 動的損失再重み付けは、クラス活性マップを通じてより優れた局所化と説明可能性をもたらすか？
• RQ4 異なる損失再重み付け戦略（LL-R、LL-Ct、LL-Cp）がモデルの一般化に与える影響は何か？
• RQ5 提案手法は、合成された部分ラベルデータセットと現実の部分ラベルデータの両方で効果を示すか？

主な発見

• NUSWIDEデータセット（人工的に作成された部分ラベル）では、LL-Ct abs が Naive AN より+6.6 mAP、LL-relative より+0.3 mAP の向上を達成した。
• OpenImages V3（現実の部分ラベル）では、絶対損失の変種（LL-R abs、LL-Ct abs、LL-Cp abs）が Naive AN より+0.3～+0.4 mAP の向上を示した。
• LL-Ct abs は NUSWIDE で 48.6 mAP を達成し、Naive AN（42.0 mAP）と LL-relative（48.3 mAP）を上回った。
• OpenImages V3 の G1–G5 グループ評価では、LL-Ct abs が G5 で 89.3 mAP を達成し、Naive AN の 88.8 mAP を上回り、全グループで一貫した向上を示した。
• クラス活性マップの可視化結果から、LL-Ct は Naive AN や ROLE よりも物体の局所化が正確であることが示され、人的解釈とより整合性があることがわかった。
• 絶対損失変種（LL-Ct abs）は、合成データと現実データの両方で強く性能を維持し、異なる損失基準に対して頑健であることが示された。