[논문 리뷰] ObjectNet Dataset: Reanalysis and Correction

Ali Borji|arXiv (Cornell University)|2020. 04. 04.

Advanced Neural Network Applications참고 문헌 19인용 수 8

한 줄 요약

이 논문은 ObjectNet 데이터셋을 재평가하며, Barbu 등이 원래 분석한 데에 비해 심각한 결함을 밝혀낸다: 혼잡한 장면에 객체 인식 모델을 적용한 것이 아니라 고립된 객체 캐드에 적용한 것이다. 객체를 분리하고 다시 모델을 적용함으로써 저자들은 보고된 성능 저하의 약 10–15%를 회복한다. 이는 장면 수준의 맥락이 인식 정확도를 크게 떨어뜨린다는 것을 보여준다. 이 보정에도 불구하고 딥 러닝 모델은 여전히 ObjectNet에서 성능이 열등하여, 훈련 데이터를 초월한 일반화 능력에 있어 ObjectNet이 여전히 도전 과제임을 확인한다.

ABSTRACT

Recently, Barbu et al introduced a dataset called ObjectNet which includes objects in daily life situations. They showed a dramatic performance drop of the state of the art object recognition models on this dataset. Due to the importance and implications of their results regarding generalization ability of deep models, we take a second look at their findings. We highlight a major problem with their work which is applying object recognizers to the scenes containing multiple objects rather than isolated objects. The latter results in around 20-30% performance gain using our code. Compared with the results reported in the ObjectNet paper, we observe that around 10-15 % of the performance loss can be recovered, without any test time data augmentation. In accordance with Barbu et al.'s conclusions, however, we also conclude that deep models suffer drastically on this dataset. Thus, we believe that ObjectNet remains a challenging dataset for testing the generalization power of models beyond datasets on which they have been trained.

연구 동기 및 목표

• 딥 객체 인식 모델의 ObjectNet 데이터셋에 대한 성능 평가를 재표현하고 보정하기.
• ObjectNet에서 보고된 성능 저하가 모델의 일반화 실패 때문인지, 잘못된 평가 방법론 때문인지 조사하기.
• 장면에서 객체 인스턴스를 분리하고 재평가하여 장면 수준의 혼잡도가 미치는 영향을 정량화하기.
• ImageNet과 ObjectNet 간의 성능 격차가 주로 분포 이탈 때문인지 평가 프로토콜 문제 때문인지 평가하기.
• ObjectNet을 사용하여 딥 러닝 모델의 일반화 능력을 평가하기 위한 보정된 벤치마크 제공하기.

제안 방법

• 객체 바운딩 박스를 추출하고, 이를 고립된 인스턴스로 자르는 방식으로 ObjectNet 이미지 재처리하기.
• 원래 장면과 고립된 객체 캐드 양쪽에 동일한 사전 훈련된 객체 인식 모델(예: ResNet, DenseNet) 적용하기.
• 원래 ObjectNet 평가와 고립된 객체 설정에서의 top-1 및 top-5 정확도 점수 비교하기.
• 재현 가능성을 확보하기 위해 원래 ObjectNet 레포지토리에서 공개된 코드와 데이터 사용하기.
• ObjectNet 데이터셋의 실패 사례와 레이블 오류 분석하여 데이터 품질과 모델 성능에 미치는 영향 평가하기.
• 일致한 비교를 확보하기 위해 113개의 ImageNet 겹침 카테고리에서 모델 성능 평가하기.

실험 결과

연구 질문

• RQ1 ObjectNet의 장면 수준의 혼잡도는 ImageNet 대비 딥 러닝 모델의 성능 저하에 얼마나 기여하는가?
• RQ2 전체 장면 대신 고립된 객체 캐드에서 평가함으로써 ImageNet과 ObjectNet 간의 성능 격차를 크게 줄일 수 있는가?
• RQ3 원래 평가에서의 방법론적 결함(예: 다중 객체 장면에 객체 인식 모델를 잘못 적용함)으로 인해 관찰된 성능 저하의 일부는 어느 정도인가?
• RQ4 객체 수준의 레이블 오류, 가림, 조명, 시점 변화가 ObjectNet에서의 모델 실패에 어떤 역할을 하는가?
• RQ5 고립된 객체를 인식할 때 딥 러닝 모델의 성능은 인간 수준의 성능과 비교해 어떻게 되는가?

주요 결과

• 원래 ObjectNet 연구에서 보고된 성능 저하의 약 10–15%가 고립된 객체 캐드에 모델을 적용함으로써 회복된다.
• 다양한 모델에서 객체 분리로 인한 성능 향상은 일관되며, 이는 원래 평가에서 장면 수준의 혼잡도가 주요 혼동 요인임을 시사한다.
• 보정에도 불구하고 딥 러닝 모델은 여전히 ImageNet 대비 ObjectNet에서 상당한 성능 저하를 보이며, 일반화 능력에 있어 ObjectNet이 여전히 도전 과제임을 확인한다.
• 저자들은 ObjectNet에서 여러 데이터 품질 문제를 특정한다: 잘못된 레이블이 부여된 이미지, 가림, 극단적인 조명, 모호한 카테고리(예: 티셔츠 vs. 드레스).
• 일부 객체는 텍스트 레이블이 있어야만 식별 가능하다(예: 반려동물 사료 용기), 여러 카테고리는 자주 혼동된다(예: 샌들 vs. 드레스 샌들, 봉투 vs. 서류).
• 이 연구는 향후 벤치마크에서 객체 인식과 객체 검출을 분리하고 맥락 인식 평가 프로토콜을 고려해야 한다고 제안한다.