[논문 리뷰] Learning Intelligent Dialogs for Bounding Box Annotation

Ksenia Konyushkova, Jasper Uijlings외 2명|arXiv (Cornell University)|2017. 12. 21.

Multimodal Machine Learning Applications참고 문헌 48인용 수 8

한 줄 요약

이 논문은 경계 박스 레이블링을 위한 최소화된 주석 시간을 달성하기 위해 상자 검증과 수동 그림 그리기 사이에서 동적으로 전환하는 적응형 에이전트인 지능형 주석 대화(IAD)를 소개한다. 확률적 검증 예측 또는 강화 학습을 사용하여, IAD는 고정 전략을 능가하며, 검출기 성능, 이미지 난이도, 품질 요구사항이 다양할 때에도 주석을 가속화한다. 또한 검출기가 시간이 지남에 따라 향상됨에 따라 최적의 전략을 진화시킨다.

ABSTRACT

We introduce Intelligent Annotation Dialogs for bounding box annotation. We train an agent to automatically choose a sequence of actions for a human annotator to produce a bounding box in a minimal amount of time. Specifically, we consider two actions: box verification, where the annotator verifies a box generated by an object detector, and manual box drawing. We explore two kinds of agents, one based on predicting the probability that a box will be positively verified, and the other based on reinforcement learning. We demonstrate that (1) our agents are able to learn efficient annotation strategies in several scenarios, automatically adapting to the image difficulty, the desired quality of the boxes, and the detector strength; (2) in all scenarios the resulting annotation dialogs speed up annotation compared to manual box drawing alone and box verification alone, while also outperforming any fixed combination of verification and drawing in most scenarios; (3) in a realistic scenario where the detector is iteratively re-trained, our agents evolve a series of strategies that reflect the shifting trade-off between verification and drawing as the detector grows stronger.

연구 동기 및 목표

• 객체 검출 데이터셋에서 수동 경계 박스 주석의 높은 비용을 줄이기 위해.
• 순수한 검증 또는 수동 그림 그리기와 같은 고정 전략의 한계를 해결하기 위해, 이미지 난이도, 검출기 품질, 필요로 하는 상자 정밀도에 따라 동적으로 적응하는 전략을 개발하기 위해.
• 주석 시간을 최소화하면서 높은 품질의 경계 박자를 유지하는 최적의 동작 시 послед(검증/그림 그리기)을 학습하는 지능형 에이전트를 개발하기 위해.
• 검출기 성능이 시간이 지남에 따라 향상되는 반복적 학습 시나리오에서 에이전트의 성능을 평가하기 위해.
• 적응 전략이 고정 히ュ리스틱과 달리 검출기 향상에 따라 진화하는가를 보여주기 위해.

제안 방법

• IAD 에이전트는 이미지 특징과 검출기 출력을 바탕으로 동작(상자 검증 또는 수동 그림 그리기)을 선택하며, 문제 특성에 따라 주석 시간을 함수로 모델링한다.
• 한 가지 방법은 상자 제안이 긍정적으로 검증될 확률을 예측하여 기대 시간을 최소화하는 데 도움이 되는 동작 선택을 유도한다.
• 두 번째 방법은 시도-오류 상호작용을 통해 주석 소요 시간을 직접 최적화하기 위해 강화 학습을 사용한다.
• 시스템은 다양한 검출기 성능, 원하는 상자 품질 수준, 수동 그림 그리기 인터페이스(7초/상자 방법 포함)를 갖춘 PASCAL VOC 2007에서 평가된다.
• 반복 학습 설정에서는 새로 주석 처리된 데이터로 검출기를 재학습시키며, IAD 에이전트는 변화하는 검출기 성능에 맞춰 전략을 적응시킨다.
• 에이전트는 이전 주석 에피소드에서 수집된 데이터를 사용하여 훈련되며, IoU ≥ 0.7인 검증된 상자와 수동으로 그린 상자를 모두 활용한다.

실험 결과

연구 질문

• RQ1 지능형 에이전트는 주석 시간을 최소화하기 위해 상자 검증과 수동 그림 그리기 사이에서 동적으로 전환할 수 있는가?
• RQ2 IAD 에이전트의 성능는 다양한 검출기 성능과 이미지 난이도에서 고정 전략(예: 순수한 검증 또는 순수한 그림 그리기)과 비교해 어떻게 되는가?
• RQ3 반복적 재학습을 통해 검출기가 향상됨에 따라 IAD 에이전트는 전략을 적응적으로 변화시킬 수 있는가?
• RQ4 검출기 품질과 원하는 상자 조임 정도의 변화에 대해 에이전트의 전략이 의미 있게 진화하는가?
• RQ5 시간 효율성 측면에서 검증과 그림 그리기 사이의 트레이드오프는 무엇이며, 에이전트는 이를 최적화할 수 있는가?

주요 결과

• IAD는 모든 테스트 시나리오에서 수동 그림 그리기 또는 검증 전용 전략보다 주석 시간을 크게 단축시킨다.
• IAD는 대부분의 시나리오에서 검증과 그림 그리기의 고정 조합을 능가하며, 동적 전략 선택의 이점을 입증한다.
• 반복적 재학습 설정에서 IAD의 전략은 검출기가 약할 때는 주로 수동 그림 그리기에서 시작하여 검출기 성능 향상에 따라 점점 더 많은 검증에 의존하게 진화한다.
• IAD를 사용할 경우 상자당 평균 주석 시간은 시간이 지남에 따라 감소하는 반면, 고정된 검증 전용 전략(V-hor)은 여전히 어려운 예제가 남아 있어 주석 시간이 증가한다.
• IAD로 주석 처리된 상자에 기반해 훈련된 최종 검출기는 지상 진실 상자에 기반한 검출기의 mAP의 98%를 달성하여 높은 품질의 출력을 보여준다.
• 주석 처리된 상자 중 56%는 검증되었고 44%는 수동으로 그려졌으며, 검증된 상자들은 지상 진실과 83% mIoU를 기록하여 강한 일치를 보였다.