[논문 리뷰] Are all training examples equally valuable

Àgata Lapedriza, Hamed Pirsiavash외 2명|arXiv (Cornell University)|2013. 11. 25.

Machine Learning and Data Classification참고 문헌 19인용 수 38

한 줄 요약

이 논문은 개별 예제의 훈련 가치를 측정하고 순위를 매기는 방법을 제안하며, 전체 데이터셋을 사용하는 것보다는 높은 가치를 지닌 훈련 예제의 부분집합을 선택함으로써 시각 작업에서 최신 검출기 및 분류기의 성능을 향상시킬 수 있음을 보여준다. 이 방법은 예제의 유용도를 기반으로 한 그릅스 전진 선택 전략을 사용하여, 여러 모델과 데이터셋에서 전체 데이터셋을 훈련할 때보다 높은 평균 정밀도를 달성한다.

ABSTRACT

When learning a new concept, not all training examples may prove equally useful for training: some may have higher or lower training value than others. The goal of this paper is to bring to the attention of the vision community the following considerations: (1) some examples are better than others for training detectors or classifiers, and (2) in the presence of better examples, some examples may negatively impact performance and removing them may be beneficial. In this paper, we propose an approach for measuring the training value of an example, and use it for ranking and greedily sorting examples. We test our methods on different vision tasks, models, datasets and classifiers. Our experiments show that the performance of current state-of-the-art detectors and classifiers can be improved when training on a subset, rather than the whole training set.

연구 동기 및 목표

• 모든 훈련 예제가 시각 작업에서 모델 성능에 동일하게 기여하는지 여부를 조사하는 것.
• 개별 예제의 훈련 가치를 식별하고 정량화하여 일부 예제가 성능을 해칠 수 있음을 인식하는 것.
• 모델 일반화에 기여하는 바에 따라 훈련 예제를 순위 매기고 선택하는 방법을 개발하는 것.
• 전체 데이터셋을 사용하는 것보다 부분집합으로 훈련하는 것이 성능 향상을 이룰 수 있음을 보여주는 것.
• 컴퓨터 비전 분야에서 표준적으로 모든 훈련 데이터를 무분별하게 사용하는 관행에 도전하는 것.

제안 방법

• 논문은 각 예제가 점진적 훈련 중 모델 성능 향상에 기여하는 정도를 기반으로 한 훈련 가치 지표를 정의한다.
• 예제의 훈련 가치에 따라 순위를 매기기 위해 그릅스 전진 선택 전략을 사용하며, 하나씩 추가하여 높은 성능을 보이는 부분집합을 구성한다.
• 각 추가 후 모델 성능을 평가하며, 성능 지표로는 보류된 테스트 세트에서의 평균 정밀도(AP)를 사용한다.
• 여러 모델(LDA, 선형 및 커널 SVM), 특징(HOG, Gist, 시각어), 데이터셋(PASCAL VOC 2007, SUN 2012)에 걸쳐 이 방법을 적용한다.
• 모델이 기존 데이터에서 보이는 행동을 이용해 예제의 유용도를 유추함으로써 수동 레이블링이나 활성 학습을 피한다.
• 성능을 검증하기 위해 최고의 부분집합, 전체 훈련, 무작위 부분집합, 역순으로 정렬된 부분집합을 비교한다.

실험 결과

연구 질문

• RQ1 객체 검출 및 분류 작업에서 예제의 기여도에 따라 개별 훈련 예제를 순위 매길 수 있는가?
• RQ2 높은 가치의 예제 부분집합으로 훈련하는 것이 전체 데이터셋으로 훈련하는 것보다 성능이 뛰어나게 되는가?
• RQ3 일부 예제가 성능에 악영향을 줄 수 있는가(예: 잘못 레이블링된 또는 높은 가림을 받은 예제들)?
• RQ4 데이터 선택 전략이 전체 훈련 세트로는 달성할 수 없는 일반화 성능 향상을 이룰 수 있는가?
• RQ5 데이터셋 크기와 편향은 제안된 훈련 가치 순위 매기기 방법의 효과성에 어떤 영향을 미치는가?

주요 결과

• 높은 훈련 가치로 순위 매겨진 예제 부분집합으로 훈련한 결과, 전체 데이터셋으로 훈련한 경우보다 높은 평균 정밀도(AP)를 기록하였으며, 전체 데이터 사용 이전에 성능 최고점이 나타났다.
• 최고의 부분집합은 전체 훈련 세트를 초월하였으며, PASCAL VOC 2007 데이터셋의 15개 공통 클래스에서 AP 개선 폭이 최대 0.23에 이르렀다.
• 훈련 데이터의 10%만 사용해도 일부 경우에서 전체 데이터셋을 사용한 경우와 동일하거나 더 높은 성능를 달성하였다.
• 낮은 훈련 가치를 지닌 예제를 역순으로 훈련해도 무작위 부분집합보다 성능 향상이 있었지만, 최고의 부분집합에 도달하지 못했으며, 이는 학습에 있어 효율성이 떨어짐을 시사한다.
• 이 방법은 데이터셋 간으로 일반화되었으며, PASCAL VOC 2007에서 최고의 부분집합으로 훈련한 모델을 SUN 2012에서 테스트한 결과 더 나은 일반화 성능을 보였으며, 더 나은 불변성(인variant)을 나타냈다.
• 더 큰 훈련 세트에서는 더 나은 부분집합을 발견할 수 있었으며, 이는 데이터셋 크기가 선택된 예제의 질에 영향을 준다는 것을 확인시켰다.