[논문 리뷰] ShapeCoder: Discovering Abstractions for Visual Programs from Unstructured Primitives

R. Kenny Jones, Paul Guerrero외 2명|arXiv (Cornell University)|2023. 05. 09.

Software Engineering Research인용 수 4

한 줄 요약

ShapeCoder는 형태 기반 프로그램 데이터셋에서 고수준 추상화 함수와 컴팩트한 시각적 프로그램을, 형태-프로그램 인식 네트워크와 조건부 리라이팅이 있는 e-그래프를 사용하여 비정형 프리미티브 기반 데이터셋에서 발견하는 새로운 시스템이다. 이는 정답 프로그램, 계층적 부품 레이블, 프로그램 순서 제약 조건이 없이도 복잡한 3D 형태 데이터셋에서 우수한 압축률과 추상화 품질을 달성한다.

ABSTRACT

Programs are an increasingly popular representation for visual data, exposing compact, interpretable structure that supports manipulation. Visual programs are usually written in domain-specific languages (DSLs). Finding "good" programs, that only expose meaningful degrees of freedom, requires access to a DSL with a "good" library of functions, both of which are typically authored by domain experts. We present ShapeCoder, the first system capable of taking a dataset of shapes, represented with unstructured primitives, and jointly discovering (i) useful abstraction functions and (ii) programs that use these abstractions to explain the input shapes. The discovered abstractions capture common patterns (both structural and parametric) across the dataset, so that programs rewritten with these abstractions are more compact, and expose fewer degrees of freedom. ShapeCoder improves upon previous abstraction discovery methods, finding better abstractions, for more complex inputs, under less stringent input assumptions. This is principally made possible by two methodological advancements: (a) a shape to program recognition network that learns to solve sub-problems and (b) the use of e-graphs, augmented with a conditional rewrite scheme, to determine when abstractions with complex parametric expressions can be applied, in a tractable manner. We evaluate ShapeCoder on multiple datasets of 3D shapes, where primitive decompositions are either parsed from manual annotations or produced by an unsupervised cuboid abstraction method. In all domains, ShapeCoder discovers a library of abstractions that capture high-level relationships, remove extraneous degrees of freedom, and achieve better dataset compression compared with alternative approaches. Finally, we investigate how programs rewritten to use discovered abstractions prove useful for downstream tasks.

연구 동기 및 목표

• 원시적이고 비정형적인 형태의 프리미티브 분해에서 의미 있고 재사용 가능한 시각적 프로그램 추상화 함수를 발견하는 데 도전한다.
• 이전의 추상화 발견 방법이 요구하는 강한 입력 가정(예: 정제된 예시 시퀀스, 계층적 레이블, 사전 정의된 프로그램 순서)을 제거하는 데 목적이 있다.
• 형태 데이터셋 전반에 걸쳐 구조적 및 매개변수적 패턴을 포착하는 추상화를 학습함으로써 프로그램의 컴팩트성과 해석 가능성 향상.
• 통합된 종단 간 학습 프레임워크를 통해 발견된 추상화를 형태 편집, 생성, 분석 등의 작업에 효과적으로 활용할 수 있도록 하는 것.

제안 방법

• DreamCoder에서 영감을 얻은 반복적 드림-웨이크-프로포지션-인테그레이션 루프를 활용하여 시각적 프로그램을 위한 점진적 라이브러리 학습을 가능하게 한다.
• 하나씩 하위 문제를 해결하고 조합 연산을 통해 솔루션을 연결하는 하향식 형태-프로그램 인식 네트워크를 사용하여 복잡하거나 비정형 입력에서도 추론이 가능하다.
• 복잡한 매개변수 표현식을 효율적으로 탐색하고 적용할 수 있도록 조건부 리라이팅 규칙가 부가된 e-그래프를 활용하여 타당한 방식으로 추상화 탐색.
• 불필요한 노드 확장을 방지하는 조건부 리라이팅 기법을 도입하여 e-그래프의 과도한 팽창을 줄이고, 계산 제약 조건 하에 더 풍부한 프로그램 구조 탐색 가능.
• 정답 프로그램, 부품 계층, 교육용 코스 기반 데이터가 필요 없이 프리미티브 집합에 직접 작용.
• 형태 유지 능력을 유지하면서 프로그램 길이를 최소화하는 압축 기반 목적함수를 사용해 추상화 발견을 유도.

실험 결과

연구 질문

• RQ1 정답 프로그램이나 부품 계층이 없는 비정형 프리미티브 분해에서 직접적으로 의미 있고 재사용 가능한 시각적 프로그램 추상화 함수를 발견할 수 있는가?
• RQ2 조건부 리라이팅을 통해 e-그래프를 어떻게 개선하여 복잡한 매개변수적 추상화를 효율적으로 탐색할 수 있는가?
• RQ3 하향식으로 학습된 신경망 기반 인식 네트워크가 전체 프로그램이 직접 관측되지 않는 경우에도 완전한 시각적 프로그램을 추론할 수 있는가?
• RQ4 ShapeCoder의 추상화 발견 성능이 최신 기법 대비 프로그램 압축률, 일반화 능력, 노이즈가 있는 프리미티브 입력에 대한 강건성 측면에서 어떻게 비교되는가?

주요 결과

• ShapeCoder는 보조 지도 없이도 복잡한 3D 형태 데이터셋에서 기존 기준 대비 유의미하게 높은 데이터셋 압축률을 달성하는 추상화 라이브러리를 발견한다.
• 학습 과정에서 볼 수 없었던 형태들에 대해서도 성공적으로 일반화하여, 발견된 추상화를 사용하는 컴팩트하고 해석 가능한 프로그램을 생성한다.
• 특히 입력 가정이 느슨한 조건에서 높은 구조적 및 매개변수적 복잡도를 가진 데이터셋에 대해 이전 방법보다 우수한 추상화 발견 성능을 보인다.
• 프리미티브 분해가 노이즈가 있거나 무 supervision으로 추출된 cuboid 추상화 방법에 의해 생성된 경우에도 효과적으로 기능하여 입력 품질에 대한 강건성을 입증한다.
• e-그래프에서 조건부 리라이팅을 사용함으로써 지수적 팽창을 방지하고 이전 방법보다 더 풍부한 프로그램 구조 탐색이 가능하다.
• e-그래프의 포화도에 한계가 있음에도 불구하고, 고수준의 의미 있는 추상화를 발견하여 시각적 프로그램의 부적절한 자유도를 억제한다.