[논문 리뷰] Transfer of View-manifold Learning to Similarity Perception of Novel Objects

Xingyu Lin, Hao Wang외 4명|arXiv (Cornell University)|2017. 03. 31.

Neural dynamics and brain function인용 수 7

한 줄 요약

이 논문은 시각적 경험에서의 물체 지속성 제약를 통한 시야 다양체 표현을 학습하는 딥 컨volution 신경망인 Object Persistence Net(OPnet)을 제안한다. Siamese triplet loss를 활용해 미세조정된 OPnet은 다양한 시점에서의 물체 연속성을 강제하는 표현을 학습하며, 이는 새로운 물체(동일 및 다른 카테고리 내)에 대한 유사도 판단 능력을 향상시킨다. AlexNet을 물체 지속성 제약 조건 하에서 재학습함으로써 OPnet은 인간의 지각적 유사도를 더 잘 반영하는 전이 가능한 부분 수준의 추상화를 달성한다.

ABSTRACT

We develop a model of perceptual similarity judgment based on re-training a deep convolution neural network (DCNN) that learns to associate different views of each 3D object to capture the notion of object persistence and continuity in our visual experience. The re-training process effectively performs distance metric learning under the object persistency constraints, to modify the view-manifold of object representations. It reduces the effective distance between the representations of different views of the same object without compromising the distance between those of the views of different objects, resulting in the untangling of the view-manifolds between individual objects within the same category and across categories. This untangling enables the model to discriminate and recognize objects within the same category, independent of viewpoints. We found that this ability is not limited to the trained objects, but transfers to novel objects in both trained and untrained categories, as well as to a variety of completely novel artificial synthetic objects. This transfer in learning suggests the modification of distance metrics in view- manifolds is more general and abstract, likely at the levels of parts, and independent of the specific objects or categories experienced during training. Interestingly, the resulting transformation of feature representation in the deep networks is found to significantly better match human perceptual similarity judgment than AlexNet, suggesting that object persistence could be an important constraint in the development of perceptual similarity judgment in biological neural networks.

연구 동기 및 목표

• 시각적 경험에서의 물체 지속성 제약 조건이 인공 신경망의 지각적 유사도 판단에 영향을 미치는지 조사하는 것.
• 3D 물체의 다중 시점 학습을 통해 불변적이고 시점에 강건한 표현을 학습하는 딥 러닝 모델을 개발하는 것.
• 유래된 특징 표현이 학습된 바 없는 새로운 물체에 대해 카테고리 간으로 일반화되는지 평가하는 것.
• 학습된 시야 다양체 구조가 AlexNet과 같은 표준 DCNN보다 인간의 지각적 유사도 판단과 더 잘 일치하는지 테스트하는 것.

제안 방법

• 동일 물체의 서로 다른 시점 간의 거리가 최소화되도록 물체 지속성을 강제하기 위해 Siamese triplet 네트워크 아키텍처를 활용해 사전 학습된 AlexNet을 미세조정한다.
• 렌더링된 3D 물체 시점 이미지를 사용하여, 동일 물체의 서로 다른 시점 표현 간의 거리를 줄이기 위해 트리플릿 손실을 적용한다.
• 동일 및 다른 카테고리의 물체 간의 시야 다양체를 분리하기 위해 거리 메트릭 학습을 적용한다.
• 객체 표현 간 분리 정도를 정량화하기 위해 상호 및 내부 인스턴스 분산 기반의 점수 메트릭을 사용한다: $\text{Score}_i = \frac{\sigma_{\text{inter\_instance}}}{\sigma_{\text{intra\_instance}}}$.
• 합성 및 실제 세계 데이터셋(인간의 유사도 판단 데이터 포함)을 사용하여 새로운 물체 검색 및 유사도 판단 성능을 평가한다.
• 학습된 및 미학습된 카테고리에서의 인스턴스 및 카테고리 검색 성능을 기반으로 OPnet의 성능을 AlexNet 및 기타 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 학습 중에 물체 지속성 제약 조건을 적용함으로써 네트워크가 새로운, 학습되지 않은 물체의 지각적 유사도 판단 능력을 향상시킬 수 있는가?
• RQ2 물체 지속성에 의해 유도된 시야 다양체 학습이 학습된 물체를 초월해 새로운 인스턴스 및 카테고리로 일반화되는가?
• RQ3 OPnet에서 유도된 특징 표현이 표준 DCNN보다 인간의 지각적 유사도 판단과 얼마나 더 잘 일치하는가?
• RQ4 성능 향상은 카테고리 특화 또는 물체 특화 패턴이 아닌 추상적이고 부분 수준의 특징 학습 때문인가?

주요 결과

• OPnet은 새로운 인스턴스 테스트 세트에서 0.535의 유사도 점수를 기록하여 AlexNet의 0.328보다 유의미하게 높게 나타나, 물체 내 응집도가 높고 물체 간 분리도 우수함을 시사한다.
• 모델은 학습된 카테고리뿐 아니라 미학습 카테고리의 새로운 물체에 대해서도 전이 가능성을 보이며, 일반적이고 추상적인 표현의 존재를 시사한다.
• OPnet은 합성된 새로운 물체에 대해 인스턴스 및 카테고리 기반 이미지 검색에서 AlexNet을 능가하는 성능을 보이며, 카테고리 내 분류 능력이 향상됨을 입증한다.
• OPnet이 학습한 시야 다양체는 AlexNet보다 인간의 지각적 유사도 판단과 더 잘 일치함을 보이며, 뇌에서 물체 지속성이 지각적 유사도를 형성한다는 가설을 뒷받침한다.
• 실제 세계 데이터셋에서는 카테고리적 구조가 없을 경우 OPnet의 성능 향상 정도가 감소함을 확인하여, 그 강점이 구조화된 카테고리 기반의 분류에 있음을 시사한다.
• 이 방법은 물체 지속성 제약 조건이 물체 인스턴스 및 카테고리 간으로 일반화 가능한 부분 수준의 추상화를 유도할 수 있음을 시사한다.