[논문 리뷰] Improved Deep Learning of Object Category using Pose Information

Jiaping Zhao, Laurent Itti|arXiv (Cornell University)|2016. 07. 20.

Advanced Neural Network Applications참고 문헌 33인용 수 3

한 줄 요약

이 논문은 객체 카테고리(무엇)와 자세(어디) 레이블을 함께 학습하여 특징 학습을 향상시키는 새로운 컨볼루션 신경망인 2W-CNN를 제안한다. 테스트 시점에는 필요하지 않은 자세 정보를 역전파 동안 감독 신호로 사용함으로써, iLab-20M 데이터셋의 일부에서 AlexNet 대비 6% 높은 정확도를 달성하고, 특히 레이블이 제한된 경우 ImageNet으로의 일반화 능력이 향상된다.

ABSTRACT

Despite significant recent progress, the best available computer vision algorithms still lag far behind human capabilities, even for recognizing individual discrete objects under various poses, illuminations, and backgrounds. Here we present a new approach to using object pose information to improve deep network learning. While existing large-scale datasets, e.g. ImageNet, do not have pose information, we leverage the newly published turntable dataset, iLab-20M, which has ~22M images of 704 object instances shot under different lightings, camera viewpoints and turntable rotations, to do more controlled object recognition experiments. We introduce a new convolutional neural network architecture, what/where CNN (2W-CNN), built on a linear-chain feedforward CNN (e.g., AlexNet), augmented by hierarchical layers regularized by object poses. Pose information is only used as feedback signal during training, in addition to category information; during test, the feedforward network only predicts category. To validate the approach, we train both 2W-CNN and AlexNet using a fraction of the dataset, and 2W-CNN achieves 6% performance improvement in category prediction. We show mathematically that 2W-CNN has inherent advantages over AlexNet under the stochastic gradient descent (SGD) optimization procedure. Further more, we fine-tune object recognition on ImageNet by using the pretrained 2W-CNN and AlexNet features on iLab-20M, results show that significant improvements have been achieved, compared with training AlexNet from scratch. Moreover, fine-tuning 2W-CNN features performs even better than fine-tuning the pretrained AlexNet features. These results show pretrained features on iLab- 20M generalizes well to natural image datasets, and 2WCNN learns even better features for object recognition than AlexNet.

연구 동기 및 목표

• 표준 CNN의 자세에 강인한 분리된 특징 학습 능력의 한계를 해결하기 위해 학습 중에 명시적인 자세 감독을 통합한다.
• 객체 자세를 감독 신호로 사용할 경우, 딥 러닝을 통한 객체 인식에서 일반화 능력과 특징 품질 향상 여부를 조사한다.
• 제어된, 자세 레이블이 부여된 데이터셋(iLab-20M)에서 사전 학습한 특징이 자연 이미지 데이터셋인 ImageNet으로 효과적으로 전이 가능한지 평가한다.
• 카테고리와 자세를 동시에 학습하는 것이 카테고리 전용 학습보다 더 나은 특징 표현을 이끌어내는지 입증한다.
• 제안된 방법이 실제 이미지로 일반화되는지, 특히 테스트 세트가 학습 환경과 동일하지 않은 경우에도 성능을 유지하는지 보여준다.

제안 방법

• 카테고리(무엇)와 자세(어디)를 동시에 학습할 수 있도록 추가된 자세 전용 출력 헤드를 갖춘 2W-CNN라는 새로운 CNN 아키텍처를 제안한다.
• 두 변종을 사용한다: 2W-CNN-I(자세 피드백이 최종 완전 연결층에만 적용됨)와 2W-CNN-MI(모든 컨볼루션 레이어에 자세 피드백 적용됨).
• 학습 중에 두 가지 오차 신호를 역전파한다: 카테고리(무엇) 헤드에서 온 신호와 자세(어디) 헤드에서 온 신호를 동시에 사용하여 특징 학습을 공동으로 정규화한다.
• 학습 후 자세 전용 헤드를 제거하고 기존의 기본 CNN(아키텍처가 AlexNet과 동일)만을 추론에 사용하여 추론 오버헤드가 발생하지 않도록 한다.
• 제어된 조명, 시점, 회전 조건에서 704개의 객체 인스턴스에 대해 약 2200만 장의 이미지를 포함하는 iLab-20M 데이터셋을 활용하여 풍부한 자세 레이블을 제공한다.
• ImageNet에서 1개 클래스당 5~40장의 레이블된 이미지만을 사용하여 사전 학습된 2W-CNN와 AlexNet의 특징을 미세 조정함으로써 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 학습 중에 명시적인 자세 감독을 통합할 경우, 객체 카테고리 인식을 위한 학습된 특징의 품질 향상 여부는 어떠한가?
• RQ2 카테고리와 자세를 함께 학습하는 것이 카테고리 전용 학습 대비 자연 이미지 데이터셋인 ImageNet에서의 일반화 능력 향상에 기여하는가?
• RQ3 자세 피드백의 아키텍처 설계(예: 최종 레이어에만 적용 vs. 모든 레이어에 적용)가 성능과 특징 학습에 어떤 영향을 미치는가?
• RQ4 제어된, 자세 레이블이 부여된 데이터셋(iLab-20M)에서 사전 학습한 특징이 실제 세계의 제약 없는 데이터셋인 ImageNet으로 효과적으로 전이 가능한가?
• RQ5 자세 감독은 다운스트림 작업에서 효과적인 미세 조정을 위해 필요한 레이블 수를 얼마나 줄일 수 있는가?

주요 결과

• 2W-CNN는 iLab-20M 데이터셋의 일부를 사용해 학습했을 때 AlexNet 대비 객체 카테고리 예측 성능이 6% 향상된다.
• iLab-20M에서 사전 학습한 특징을 기반으로 AlexNet을 미세 조정하면 무작위 초기화에서 학습하는 것보다 훨씬 뛰어난 성능을 보이며, 1개 클래스당 5장의 이미지만 사용할 경우 상대적 성능 향상률이 530%에 이른다.
• 2W-CNN-MI 특징을 기반으로 미세 조정한 결과는 AlexNet 특징 기반 결과를 초월하여, 1개 클래스당 5장의 이미지로 9.27%의 top-5 정확도를 달성한 반면, AlexNet은 7.74%를 기록했다.
• 2W-CNN-MI 모델은 자연 이미지로 일반화된다: ImageNet에 적용했을 때 유사한 객체 시점에 대해 일관된 카메라 시점 예측을 하며, 88개의 이산 자세 클래스를 활용한 정성적 결과에서 이를 확인할 수 있다.
• 수학적 분석을 통해 2W-CNN는 확률적 경사 하강법 하에서 카테고리 및 자세 신호의 공동 최적화 덕분에 AlexNet보다 본질적인 이점이 있음을 입증한다.
• 제한된 레이블 데이터가 존재하는 상황에서도, ImageNet에서 2W-CNN-MI 특징을 미세 조정하면 1개 클래스당 40장의 이미지를 사용할 경우, 무작위 초기화에서 학습하는 것 대비 상대적 성능 향상률이 22%에 이른다.