[논문 리뷰] Diagnosing Human-object Interaction Detectors

Fangrui Zhu, Yiming Xie외 2명|arXiv (Cornell University)|2023. 08. 16.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 mAP 이외의 정량적 분석을 가능하게 하는 인간-물체 상호작용(HOI) 검출을 위한 진단 도구상자를 소개한다. 오류를 식별 가능한 유형으로 분해하고 오라클 수정으로 인한 mAP 향상도 측정함으로써 저자들은 주로 상호작용 분류에서 발생하는 핵심 실패 유형을 특정하고, 최신 모델 RLIPv2가 다른 모델보다 뛰어난 성능을 내는 것은 다중 레이블 상호작용 분류 정확도가 뛰어나기 때문임을 밝혀낸다.

ABSTRACT

We have witnessed significant progress in human-object interaction (HOI) detection. The reliance on mAP (mean Average Precision) scores as a summary metric, however, does not provide sufficient insight into the nuances of model performance (e.g., why one model is better than another), which can hinder further innovation in this field. To address this issue, in this paper, we introduce a diagnosis toolbox to provide detailed quantitative break-down analysis of HOI detection models, inspired by the success of object detection diagnosis toolboxes. We first conduct holistic investigations in the pipeline of HOI detection. By defining a set of errors and the oracles to fix each of them, we can have a quantitative analysis of the significance of different errors according to the mAP improvement obtained from fixing each error. We then delve into two sub-tasks of HOI detection: human-object pair detection and interaction classification, respectively. For the first detection task, we compute the coverage of ground-truth human-object pairs as well as the noisiness level in the detection results. For the second classification task, we measure a model's performance of differentiating positive and negative detection results and also classifying the actual interactions when the human-object pairs are correctly detected. We analyze eight state-of-the-art HOI detection models and provide valuable diagnosis insights to foster future research. For instance, our diagnosis shows that state-of-the-art model RLIPv2 outperforms others mainly because it significantly improves the multi-label interaction classification accuracy. Our toolbox is applicable for different methods across different datasets and available at https://github.com/neu-vi/Diag-HOI.

연구 동기 및 목표

• mAP 점수는 증가하고 있지만 HOI 검출 모델 성능에 대한 세부적인 통찰이 부족한 상황를 해결하기 위해.
• 다양한 오류 유형이 mAP에 미치는 영향을 정량화하여 모델 실패의 근본 원인을 특정하기 위해.
• HOI 검출을 인간-물체 쌍 검출 및 상호작용 분류의 두 하위 작업으로 분해하여 세밀한 분석을 수행하기 위해.
• 다양한 모델과 데이터셋에 적용 가능한 진단 프레임워크를 제공하여 향후 모델 개발을 이끌기 위해.
• 최신 모델인 RLIPv2가 유사한 전체 mAP를 보이지만 왜 뛰어난 성능을 내는지에 대해 정량적 분해를 통해 밝혀내기 위해.

제안 방법

• HOI 검출 파이프라인 내 오류 유형(예: 거짓 양성, 거짓 음성 등)을 정의하고 각 오류를 수정하는 오라클을 도입한다.
• 각 오라클을 적용했을 때의 mAP 향상도를 측정하여 각 오류 유형의 중요도를 정량화한다.
• 쌍 검출 성능은 쌍 재현율(Pair Recall, 지표 쌍의 커버리지)과 쌍 정밀도(Pair Precision, 검출의 노이즈 수준)로 평가한다.
• 상호작용 분류 성능은 양성/음성 쌍에 대한 이진 분류의 경우 AP와 정확한 쌍이 있을 때의 다중 레이블 분류의 경우 mAP를 사용하여 평가한다.
• 도구상자를 다양한 SOTA HOI 모델과 데이터셋에 적용하여 하위 작업 간 성능을 분리 분석한다.
• NMS 및 검출 임계값 조정을 통해 일괄형 및 이단계형 모델 간의 쌍 수가 동일한 조건에서 성능을 비교한다.

실험 결과

연구 질문

• RQ1 HOI 검출 모델에서 mAP 저하에 가장 크게 기여하는 오류 유형은 무엇인가?
• RQ2 일괄형 및 이단계형 HOI 검출 파라다임은 쌍 검출 및 분류 성능 측면에서 어떻게 비교되는가?
• RQ3 현재 HOI 검출의 주요 성능 저하 요인은 무엇인가—쌍 위치 추정인지 상호작용 분류인지?
• RQ4 최신 모델인 RLIPv2는 유사한 전체 mAP를 보이지만 왜 다른 모델보다 뛰어난 성능을 내는가?
• RQ5 물체 검출의 정확도와 인간 검출 재현율은 최종 HOI 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 거짓 양성 오류를 수정했을 때의 mAP 향상은 매우 크며, 일부 모델에서는 이러한 오류를 수정함으로써 mAP가 30% 이상 향상된다.
• 거짓 음성 오류는 성능 저하에 상당히 기여하며, 지표 쌍이 누락된 경우 mAP 향상이 30%를 초과할 수 있다.
• RLIPv2는 상호작용 분류 오류를 수정했을 때 mAP가 12.94% 향상되어 다른 모델보다 뛰어난 성능을 내며, 이는 다중 레이블 분류 정확도가 뛰어나기 때문이다.
• 쌍 검출 재현율은 일반적으로 높은 편이다(예: HICO-DET에서 인간 검출의 경우 91.5%) 하지만 정밀도는 낮아 노이즈가 많은 검출을 의미한다.
• 검출된 쌍의 수를 늘리기 위해 임계값을 낮추거나 NMS를 생략하면 재현율은 향상되지만, 최종 mAP는 유의미하게 증가하지 않아, 쌍의 질이 양보다 더 중요함을 시사한다.
• 진단 결과에 따르면 잘못된 상호작용 분류가 주요 성능 저하 요인이며, 특히 약한 감독 또는 종단 간 학습에 의존하는 모델에서 두드러진다.