[논문 리뷰] When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition

Ali Çağlayan, Nevrez İmamoğlu외 2명|arXiv (Cornell University)|2020. 04. 26.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 사전 훈련된 CNN과 무작위 RNN을 조합하여 RGB-D 객체 및 장면 인식을 위한 다중 수준 특징 융합 프레임워크를 제안한다. AlexNet, VGGNet, ResNet, DenseNet 등의 여러 층에서 특징을 추출하고 SVM 신뢰도 평균을 통한 융합을 통해 워싱턴 RGB-D 데이터셋에서 최신 기술 수준의 성능을 달성한다. ResNet-101과 DenseNet-121 모델은 각각 92.8% 및 93.2%의 정확도를 기록하며, CNN 전용 특징 및 단일 수준 융합 전략을 초월한다.

ABSTRACT

Recognizing objects and scenes are two challenging but essential tasks in image understanding. In particular, the use of RGB-D sensors in handling these tasks has emerged as an important area of focus for better visual understanding. Meanwhile, deep neural networks, specifically convolutional neural networks (CNNs), have become widespread and have been applied to many visual tasks by replacing hand-crafted features with effective deep features. However, it is an open problem how to exploit deep features from a multi-layer CNN model effectively. In this paper, we propose a novel two-stage framework that extracts discriminative feature representations from multi-modal RGB-D images for object and scene recognition tasks. In the first stage, a pretrained CNN model has been employed as a backbone to extract visual features at multiple levels. The second stage maps these features into high level representations with a fully randomized structure of recursive neural networks (RNNs) efficiently. To cope with the high dimensionality of CNN activations, a random weighted pooling scheme has been proposed by extending the idea of randomness in RNNs. Multi-modal fusion has been performed through a soft voting approach by computing weights based on individual recognition confidences (i.e. SVM scores) of RGB and depth streams separately. This produces consistent class label estimation in final RGB-D classification performance. Extensive experiments verify that fully randomized structure in RNN stage encodes CNN activations to discriminative solid features successfully. Comparative experimental results on the popular Washington RGB-D Object and SUN RGB-D Scene datasets show that the proposed approach achieves superior or on-par performance compared to state-of-the-art methods both in object and scene recognition tasks. Code is available at https://github.com/acaglayan/CNN_randRNN.

연구 동기 및 목표

• 사전 훈련된 CNN의 다중 수준 특징과 무작위 RNN을 융합하여 RGB-D 객체 및 장면 인식 성능을 향상시키는 것.
• 단일 수준 또는 연결 기반 융합 전략과 비교해 다중 수준 특징 융합의 효과성을 조사하는 것.
• 깊이 데이터에 대해 CNN을 미세조정함으로써 얻는 성능 향상 여부를 분석하고, CNN 전용 의미 특징과 비교하는 것.
• 제안된 프레임워크에서 다양한 백본 모델의 계산 비용과 메모리 오버헤드를 분석하는 것.

제안 방법

• RGB와 깊이 데이터를 이중선형 보간을 사용한 RGB에 대해 224×224로 리사이징하고 깊이에 대해서는 최소거리 보간을 적용한 후 z-스코어 정규화를 수행한다.
• 카메라 내재 매개변수와 깊이 맵에서 유도된 3D 포인트 클라우드를 기반으로 표면 법선 기반 색상화를 사용해 깊이 맵을 RGB 유사 표현으로 변환한다.
• RGB 및 깊이 모odalities 모두에 대해 다수의 사전 훈련된 CNN 백본(에일렉스넷, VGGNet-16, ResNet-50/101, DenseNet-121)의 일곱 수준에서 특징을 추출한다.
• 학습 없이도 시간적 의존성을 모델링할 수 있도록 무작위 RNN을 사용하여 계산 효율성을 유지한다.
• 두 가지 융합 전략을 사용: 특징 연결 및 개별 수준의 SVM 신뢰도 점수 기반 평균 투표.
• 분류를 위해 융합된 특징에 선형 SVM을 훈련하고, 워싱턴 RGB-D 데이터셋의 10개의 훈련/테스트 분할에 대해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 무작위 RNN을 사용한 다중 수준 특징 융합이 단일 수준 또는 연결 기반 융합에 비해 정확도 향상에 얼마나 기여하는가?
• RQ2 RGB-D 인식에 최적의 특징 수준 조합과 융합 전략(연결 대비 신뢰도 평균)은 무엇인가?
• RQ3 깊이 데이터에 대해 CNN을 미세조정하면 사전 훈련된 특징 사용과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크에서 더 깊거나 넓은 CNN 백본을 사용할 경우 계산 및 메모리 측면의 상호 교환 관계는 어떠한가?

주요 결과

• 상위 세 개의 최고 성능 수준(LB1, LB2, LB3)의 SVM 신뢰도 점수 평균 투표가 가장 높은 정확도를 기록하며, ResNet-101에서는 92.3%, DenseNet-121에서는 93.2%의 RGB-D 인식 정확도를 달성한다.
• 세 개 이상의 수준을 융합해도 성능 향상이 일관되게 이루어지지 않으며, ResNet-101과 DenseNet-121 모두에서 최적의 성능은 세 수준 융합에서 달성된다.
• 무작위 RNN과 다중 수준 융합을 적용한 제안된 방법은 CNN 전용 의미 특징보다 우수한 성능을 보이며, DenseNet-121의 경우 융합 기반 93.2%와 CNN 전용 93.2%의 동일한 정확도를 기록하지만, RNN 기반 융합은 더 뛰어난 일반화 능력과 강인성을 보인다.
• SVM 신뢰도 평균을 상위 수준 특징에 적용했을 때 ResNet-101과 DenseNet-121가 각각 92.8% 및 93.2%의 최고 정확도를 기록하며 RGB-D 데이터셋에서 최고 성능을 달성한다.
• 계산 비용은 주로 CPU에서의 SVM 훈련에 의해 지배되며, ResNet-101의 경우 전체 처리(무작위 RNN 및 분류 단계 포함)에 약 59분이 소요된다. 반면 DenseNet-121는 13.3GB의 최대 메모리 사용량으로 가장 메모리 집약적인 모델이다.
• 최종 레이어(L7)에서의 미세조정된 CNN 전용 특징은 AlexNet에서 89.0%, DenseNet-121에서 88.8%, ResNet-101에서 89.0%의 정확도를 기록하지만, 다중 수준 RNN 융합 특징에 비해 떨어진다.