[논문 리뷰] Visual analogy: Deep learning versus compositional models

Nicholas Ichien, Qing Liu외 4명|arXiv (Cornell University)|2021. 05. 14.

Multimodal Machine Learning Applications참고 문헌 25인용 수 7

한 줄 요약

이 논문은 인공지능에서 시각적 유사성 해결이 종단간 딥 러닝에 의존하는지, 아니면 구조적 부분 표현을 기반으로 한 복합 모델에 의존하는지 조사한다. 이미지 기반 유사성 문제에서 인간의 성능을 딥 러닝 모델(Siamese Network, Relation Network)과 부분 기반 상관계사의 유사성에 기반한 복합 모델과 비교한다. 복합 모델이 딥 러닝 모델과는 달리 인간과 유사한 성능 패턴을 재현하며, 이는 유사성 추론이 순수한 데이터 기반 학습이 아닌 구조적이고 복합적인 표현에 의존할 수 있음을 시사한다.

ABSTRACT

Is analogical reasoning a task that must be learned to solve from scratch by applying deep learning models to massive numbers of reasoning problems? Or are analogies solved by computing similarities between structured representations of analogs? We address this question by comparing human performance on visual analogies created using images of familiar three-dimensional objects (cars and their subregions) with the performance of alternative computational models. Human reasoners achieved above-chance accuracy for all problem types, but made more errors in several conditions (e.g., when relevant subregions were occluded). We compared human performance to that of two recent deep learning models (Siamese Network and Relation Network) directly trained to solve these analogy problems, as well as to that of a compositional model that assesses relational similarity between part-based representations. The compositional model based on part representations, but not the deep learning models, generated qualitative performance similar to that of human reasoners.

연구 동기 및 목표

• 인공지능에서 시각적 유사성 추론이 막대한 종단간 학습이 필요한지, 아니면 구조적이고 복합적인 표현으로도 달성될 수 있는지 규명하는 것.
• 딥 러닝 모델(Siamese Network, Relation Network)이 인간 추론과 비교해 시각적 유사성 작업에서 얼마나 잘 수행되는지 평가하는 것.
• 부분 기반 표현에 기반한 복합 모델이 인간과 유사한 성능 패턴을 재현할 수 있는지 테스트하는 것.
• 딥 러닝 네트워크가 학습한 특징 기반 유사성보다, 구조적 부분 간 상관계사가 더 효과적인 유사성 추론 기반인지 조사하는 것.

제안 방법

• 인간 참가자들이 3D 물체(예: 자동차 및 그 하위 영역)의 이미지를 사용해 시각적 유사성 문제를 해결하였으며, 가림 및 시점 변화와 같은 통제된 변화가 포함됨.
• 동일한 유사성 데이터셋에서 종단간으로 훈련된 두 가지 딥 러닝 모델(Siamese Network 및 Relation Network)이 정확한 유사성을 예측하도록 훈련됨.
• 객체를 하위 영역으로 구조적으로 분해하여 이미지의 부분 기반 상관계사 유사성을 계산하는 복합 모델이 개발됨.
• 가림 및 시점 변화와 같은 조건을 포함해 다수의 조건에서 성능을 평가하여 내성성과 인간 유사성을 점검함.
• 정량적 및 정성적 방법으로 인간 성능와 모델 성능를 비교하며, 조건 간 정확도와 오류 패턴에 중점을 둠.
• 복합 모델은 원시 이미지 픽셀에 대한 종단간 훈련을 피하고 명시적인 부분 수준 표현과 상관계사 매칭을 사용함.

실험 결과

연구 질문

• RQ1 대규모 시각적 유사성 데이터셋에서 훈련된 딥 러닝 모델이 인간의 성능 패턴을 재현할 수 있는가?
• RQ2 부분 기반 표현에 기반한 복합 모델이 종단간 딥 러닝 모델보다 인간 추론을 더 잘 모방하는가?
• RQ3 가림과 시점 변화는 인간과 모델의 성능에 어떤 영향을 미치는가?
• RQ4 딥 러닝 네트워크가 학습한 특징 기반 유사성보다, 구조적 부분 간 상관계사가 더 효과적인 유사성 추론 기반인가?

주요 결과

• 인간 참가자들은 모든 문제 유형에서 우연의 성능 이상의 정확도를 달성하였으며, 관련 하위 영역이 가려질 경우 오류가 증가함.
• Siamese Network 및 Relation Network 모델은 일반화 능력이 떨어지고, 특히 가림 조건에서 인간의 오류 패턴을 재현하지 못함.
• 부분 표현에 기반한 복합 모델은 인간 추론자들과 유사한 성능 패턴을 정성적으로 보였으며, 특히 조건 간 오류 분포에서 유사함.
• 특히 부분 가림과 같은 어려운 조건에서 복합 모델이 인간과 유사한 추론을 더 잘 포착함.
• 결과적으로, 시각적 유사성 추론이 순수한 종단간 학습이 아닌 구조적이고 복합적인 표현에 의존할 수 있음.