[논문 리뷰] Complexity of Representation and Inference in Compositional Models with Part Sharing

Alan Yuille, Roozbeh Mottaghi|arXiv (Cornell University)|2013. 01. 16.

Neural Networks and Applications참고 문헌 30인용 수 3

한 줄 요약

이 논문은 부분 공유를 갖는 조합 모델의 계산 복잡도를 분석하여, 사전 크기가 계층 수준에 따라 지수적으로 증가할 경우 순차 컴퓨터에서 선형 시간 추론이 가능해지며, 사전 크기가 지수적으로 감소할 경우 병렬 컴퓨터에서 지수적으로 많은 노드를 사용해 선형 시간 추론이 가능하다는 것을 보여준다. 모델은 계층적 사전과 실행 요약 원리를 사용하여 표현 및 추론 비용을 감소시킨다.

ABSTRACT

This paper describes serial and parallel compositional models of multiple objects with part sharing. Objects are built by part-subpart compositions and expressed in terms of a hierarchical dictionary of object parts. These parts are represented on lattices of decreasing sizes which yield an executive summary description. We describe inference and learning algorithms for these models. We analyze the complexity of this model in terms of computation time (for serial computers) and numbers of nodes (e.g., "neurons") for parallel computers. In particular, we compute the complexity gains by part sharing and its dependence on how the dictionary scales with the level of the hierarchy. We explore three regimes of scaling behavior where the dictionary size (i) increases exponentially with the level, (ii) is determined by an unsupervised compositional learning algorithm applied to real data, (iii) decreases exponentially with scale. This analysis shows that in some regimes the use of shared parts enables algorithms which can perform inference in time linear in the number of levels for an exponential number of objects. In other regimes part sharing has little advantage for serial computers but can give linear processing on parallel computers.

연구 동기 및 목표

• 순차 및 병렬 컴퓨팅 환경에서 부분 공유를 갖는 조합 모델의 계산 복잡도를 분석하기 위해.
• 계층 수준 간 사전 크기 스케일링이 추론 효율성과 표현 비용에 미치는 영향을 조사하기 위해.
• 객체 인식에 있어 계산 부담을 줄이기 위해 부분 공유와 실행 요약 원리의 이점 평가하기 위해.
• 이 복잡도 결과가 생물학적 및 인공 시각 시스템, 특히 피각 구조와 관련하여 미치는 함의를 탐색하기 위해.

제안 방법

• H개의 수준에서 재귀적 부분-부분 조합을 갖는 계층적 그래픽 확률 모델을 사용하여 조합 모델을 수립한다.
• 각 수준 h에서 사전 M_h를 통해 부분을 표현하며, 더 높은 수준의 객체는 더 낮은 수준의 부분을 공유 요소를 사용해 구성한다.
• 실행 요약 원리를 적용하여 하위 부분 상태에 기반해 부분 상태를 근사적으로 표현함으로써 계산 부담을 줄인다.
• 정규 격자 위에 모델을 재구성하여 딥 베이지언 네트워크와의 비교 및 병렬 구현을 가능하게 한다.
• 사전 크기 스케일링의 수학적 분석을 통해 순차적 경우의 계산 시간과 병렬적 경우의 노드 수를 기준으로 복잡도를 분석한다.
• 세 가지 스케일링 제도를 고려한다: 사전 크기가 수준에 따라 지수적으로 증가, 실세계 데이터 기반 무 supervision 학습, 사전 크기가 수준에 따라 지수적으로 감소.

실험 결과

연구 질문

• RQ1 부분 공유가 순차적 대비 병렬 컴퓨팅 아키텍처에서 추론 시간에 어떤 영향을 미치는가?
• RQ2 계층 수준 간 사전 크기 스케일링이 계산 복잡도에 어떤 영향을 미치는가?
• RQ3 부분 공유가 추론에 있어 상당한 복잡도 이점을 제공하는 제도는 무엇인가?
• RQ4 실행 요약 원리는 조합 모델에서 표현 및 추론 비용을 어떻게 줄이는가?
• RQ5 이 복잡도 결과가 피각 구조 모델링, 특히 V1/V2 영역 대비 IT 영역에 대해 어떤 함의를 갖는가?

주요 결과

• 사전 크기가 계층 수준에 따라 지수적으로 증가할 경우 (|M_h| = a/q^h), 부분 공유가 수준 수 H에 대해 선형 시간으로 추론이 가능해지며, 지수적으로 많은 객체에 대해서도 마찬가지다.
• 실세계 데이터 기반 무 supervision 학습에 의해 사전 크기가 결정되는 제도에서는 부분 공유가 순차적 추론에 있어 상당한 복잡도 이점을 제공한다.
• 사전 크기가 수준에 따라 지수적으로 감소할 경우 (|M_h| = r^{H-h}), 부분 공유는 순차 컴퓨터에서는 이점이 없지만 병렬 컴퓨터에서 지수적으로 많은 노드를 사용해 선형 시간 추론이 가능하다.
• 실행 요약 원리는 하위 부분 상태에 기반해 부분 상태를 근사적으로 표현함으로써 추론 중 고해상도 세부 정보가 필요한 양을 줄인다.
• 결과는 V1과 V2와 같은 큰 시각 영역이 저수준 특징에 대해 고용량 사전으로 기능할 수 있으며, 이는 뇌에서 이들의 비율이 지나치게 크다는 것을 설명할 수 있다.
• 병렬 추론 알고리즘은 하부에서 상향식 처리 후 상향식 맥락 해소를 따르며, 시각 인지의 신경생물학적 모델과 일치한다.