[논문 리뷰] How useful is photo-realistic rendering for visual learning?

Yair Movshovitz-Attias, Takeo Kanade외 1명|arXiv (Cornell University)|2016. 03. 26.

Advanced Vision and Imaging참고 문헌 17인용 수 19

한 줄 요약

이 논문은 3D 렌더링을 통해 생성된 사진처럼 생긴 합성 데이터를 사용하여 시각 학습, 특히 시점 추정을 위한 대규모이자 균일하게 분포된 정확한 레이블이 부여된 데이터셋을 구축하는 것을 제안한다. 합성 데이터로만 훈련된 모델이 실사 이미지 모델과 유사한 성능을 보이며, 합성 데이터와 실사 데이터를 조합하면 정확도가 더욱 향상됨을 입증하여, 합성 데이터가 시점 편향을 효과적으로 줄이고 강건한 도메인 일반화를 가능하게 함을 보여준다.

ABSTRACT

Data seems cheap to get, and in many ways it is, but the process of creating a high quality labeled dataset from a mass of data is time-consuming and expensive. With the advent of rich 3D repositories, photo-realistic rendering systems offer the opportunity to provide nearly limitless data. Yet, their primary value for visual learning may be the quality of the data they can provide rather than the quantity. Rendering engines offer the promise of perfect labels in addition to the data: what the precise camera pose is; what the precise lighting location, temperature, and distribution is; what the geometry of the object is. In this work we focus on semi-automating dataset creation through use of synthetic data and apply this method to an important task -- object viewpoint estimation. Using state-of-the-art rendering software we generate a large labeled dataset of cars rendered densely in viewpoint space. We investigate the effect of rendering parameters on estimation performance and show realism is important. We show that generalizing from synthetic data is not harder than the domain adaptation required between two real-image datasets and that combining synthetic images with a small amount of real data improves estimation accuracy.

연구 동기 및 목표

• 실세계 시각 데이터셋의 부족함과 편향 문제, 특히 시점 추정 분야에서 합성 데이터 생성 기술을 활용하여 이를 해결하고자 한다.
• 사진처럼 생긴 렌더링이 실세계 테스트 세트에 잘 일반화되는 고품질의 훈련 데이터를 생성할 수 있는지 조사하고자 한다.
• 렌더링 파라미터(예: 시점 분포, 조명, 가림막)가 모델 성능에 미치는 영향을 평가하고자 한다.
• 실사 이미지 데이터셋에 비해 합성 데이터가 레이블 편향을 줄이고 일반화 성능을 향상시키는지 확인하고자 한다.
• 합성 데이터와 실사 데이터를 조합하여 시점 추정 성능을 향상시키는 데 효과적인지 탐색하고자 한다.

제안 방법

• 저자들은 차량의 고정밀 3D 모델을 사용하여 다양한 시점 각도에 걸쳐 조밀하고 균일하게 샘플링된 대규모 합성 데이터셋을 생성한다.
• 조명, 카메라 자세, 가림막(가상 객체를 통해)과 같은 렌더링 파라미터를 체계적으로 변화시켜 훈련 데이터의 다양성을 높인다.
• 각도 유사도를 모델링하고 예측 안정성을 향상시키기 위해 베르누일리 분포 기반 가중치 소프트맥스 손실 함수를 사용한 딥 컨volution 신경망을 훈련시킨다.
• 주요 평가 지표로 평균 각도 오차(MAE)를 사용하여 PASCAL VOC 테스트 세트에서 모델 성능을 평가한다.
• 제거 분석을 통해 합성 데이터와 실사 데이터의 비율, 가림막 수준, 손실 함수의 커널 폭(σ)을 변화시켜 모델의 강인성과 성능을 평가한다.
• 자동으로 시점 각도를 하위 도수 정밀도로 정확하게 레이블링할 수 있어 인간의 레이블링 오류를 제거할 수 있다.

실험 결과

연구 질문

• RQ1 사진처럼 생긴 합성 데이터로도 실사 이미지로 훈련된 모델만큼 일반화 성능을 발휘할 수 있는가?
• RQ2 합성 데이터의 시점 각도 분포가 실세계 데이터셋과 비교하여 모델 성능에 어떤 영향을 미치는가?
• RQ3 시점 추정 정확도를 극대화하기 위해 합성 데이터와 실사 데이터의 최적의 비율은 무엇인가?
• RQ4 조명과 가림막과 같은 다양한 렌더링 파라미터가 모델 일반화에 어떤 영향을 미치는가?
• RQ5 각도 연속성을 모델링하는 특수한 손실 함수(베르누일리 커널 기반 소프트맥스)가 표준 소프트맥스보다 성능을 향상시키는가?

주요 결과

• 50,000장의 합성 이미지로만 훈련된 모델은 PASCAL VOC 테스트 세트에서 평균 각도 오차(MAE) 21°를 기록하여 실사 이미지로 훈련된 모델와 유사한 성능을 보였다.
• 합성 데이터와 실사 데이터를 조합함으로써 실사 데이터 전용 훈련 시 MAE 31°에서 반으로 합성 데이터 비율 50%로 했을 때 MAE 18°로 향상되어 성능 향상이 뚜렷하게 나타났다.
• 베르누일리 가중치 소프트맥스 손실 함수는 모든 훈련 세트 크기에서 표준 소프트맥스보다 뛰어난 성능을 보였으며, 820,000장의 이미지를 사용했을 때 MAE 21°를 기록하여 예측 안정성이 향상됨을 시사했다.
• 모델은 커널 폭(σ)의 변화에 대해 뚜렷한 민감도를 보이지 않았으며, σ 값이 2에서 15 사이일 때 MAE는 13°에서 15° 사이로 유지되어 이 하이퍼파라미터에 대해 강인함을 보였다.
• 중간 정도의 가림막(최대 35%의 이미지)을 추가하면 일반화 성능이 향상되었지만, 과도한 가림막(50% 이상)은 성능 저하를 초래하여 최적의 현실감 수준이 존재함을 시사했다.
• 본 연구는 합성 데이터와 실사 데이터 간의 도메인 차이가 관리 가능하며, 실사 데이터 간의 도메인 차이보다 덜 심각함을 확인하여 합성 데이터가 실용적인 훈련 자료로 유망함을 입증했다.