[논문 리뷰] On the Limitations of Representing Functions on Sets

Edward Wagstaff, Fabian B. Fuchs외 3명|arXiv (Cornell University)|2019. 01. 25.

Neural Networks and Applications인용 수 30

한 줄 요약

이 논문은 집합 위에서 연속 함수 근사(예: 신경망 또는 가우시안 프로세스를 통한)의 경우 잠재 공간 차원이 최대 집합 크기 이상이어야 유니버설 표현이 가능하다는 것을 보여준다. 고정된 차원의 잠재 공간은 연속성 제약 조건 하에서는 충분하지 않음을 증명하여, 이전 연구에서 비연속 맵핑에 의존한 핵심적 한계를 해결한다.

ABSTRACT

Recent work on the representation of functions on sets has considered the use of summation in a latent space to enforce permutation invariance. In particular, it has been conjectured that the dimension of this latent space may remain fixed as the cardinality of the sets under consideration increases. However, we demonstrate that the analysis leading to this conjecture requires mappings which are highly discontinuous and argue that this is only of limited practical use. Motivated by this observation, we prove that an implementation of this model via continuous mappings (as provided by e.g. neural networks or Gaussian processes) actually imposes a constraint on the dimensionality of the latent space. Practical universal function representation for set inputs can only be achieved with a latent dimension at least the size of the maximum number of input elements.

연구 동기 및 목표

• 고정된 차원의 잠재 공간을 사용할 때 임의의 함수를 집합으로 표현하는 데 있어 근본적인 제약 조건을 규명하는 것.
• 집합에 대한 순열 불변 함수가 작은 고정된 차원의 잠재 공간으로도 유니버설로 표현될 수 있다는 가정을 도전하는 것.
• 실제 모델(예: 신경망)에 필수적인 연속성 조건이 잠재 공간 차원에 반드시 필요한 하한을 부과한다는 것을 입증하는 것.
• 가산 도메인에 기반한 이전 이론적 결과가 신경망 구현에 실용적으로 유용하지 않은 이유를 명확히 하는 것.
• 집합 기반의 합 분해 기반 모델에서 유니버설 함수 표현을 위한 필수 및 필요 충분 조건을 설정하는 것.

제안 방법

• 순열 불변성을 강제하기 위한 합 분해 방법 분석: f(X) = ρ(∑_{x∈X} φ(x)).
• 가산과 비가산 입력 도메인을 구분하여, 연속 모델에 대해 실용적 관련성을 보장하는 것은 비가산 도메인뿐임을 주장함.
• 연속적인 φ와 ρ에 대해, 잠재 공간 차원 N이 최대 입력 원소 수 M 이상이어야 유니버설 함수 표현이 가능함을 증명함.
• 실용적 관련성을 기반으로 하기 위해 [0,1]^M 위의 연속 함수에 대한 유니버설 근사 정리를 기초로 함.
• 신경망과 가우시안 프로세스가 유니버설 근사를 달성하기 위해 φ와 ρ의 연속성이 필수적임을 입증함.
• 부록 B에 공식적으로 증명된 lin: N ≥ M은 연속성 제약 조건 하에서 유니버설 표현을 위한 필수 및 필요 충분 조건임.

실험 결과

연구 질문

• RQ1 연속 맵핑을 사용할 때, 고정된 차원의 잠재 공간이 모든 순열 불변 함수를 집합에서 유니버설로 표현할 수 있는가?
• RQ2 왜 가산 도메인에 기반한 이전 이론적 결과는 신경망과 같은 실용적 모델에 적용되지 않는가?
• RQ3 연속적인 합 분해를 사용할 때 집합에서 유니버설 함수 표현을 달성하기 위해 필요한 최소 잠재 공간 차원은 얼마인가?
• RQ4 연속성 요구 조건이 기계 학습에서 집합 기반 모델 설계에 어떻게 제약을 가하는가?
• RQ5 이전에 제안된 충분 조건 외에, 합 분해 모델에서 유니버설 함수 표현을 위한 필수 조건이 존재하는가?

주요 결과

• 연속 맵핑을 사용할 경우, 최소한 입력 원소의 최대 수 M 이상의 잠재 공간 차원이 있어야 유니버설 함수 표현이 가능하며, 이는 필수 및 필요 충분 조건이다.
• 가산 도메인을 가정하고 비연속 맵핑을 사용하는 이전 결과는 신경망이나 가우시안 프로세스로는 실행할 수 없어 실용적 가치가 제한적이다.
• [0,1]^M 위의 연속 함수에 대한 유니버설 근사 정리는 비가산 도메인이 필요하므로, 연속성이 실용적 모델에 있어 핵심적 제약 조건이 된다.
• 연속적인 φ와 ρ를 사용하는 합 분해 모델은 잠재 차원 N ≥ M가 되지 않으면 모든 순열 불변 함수를 유니버설로 근사할 수 없다.
• 수학적으로는 타당하지만 실세계 구현(예: 신경망)으로 일반화되지 않는 비연속 맵핑에 의존하는 이론적 모델은 실용성에 결함이 있다.
• 이러한 결과는 특정 아키텍처에 국한되지 않고, 신경망과 가우시안 프로세스를 포함한 연속적인 합 분해 구현 전반에 적용 가능하다.